Triton 设计思想 & Paper 理解
输入“/”快速插入内容
Triton 设计思想 & Paper 理解
Triton 设计思想 & Paper 理解
用户54用户542025年11月6日修改
2024年2月27日创建
8433
9523
Triton Conference 2023 - talk notes
1.
提出背景与 triton 定位。典型的 GPU 编程模型、难点 & triton 试图解决的问题。
TODO
1.
深入理解 TileIR 相关。
问题背景
high performance GPU code
Triton allows researchers with no GPU programming experience to write high performance GPU code.
很多人把重点理解为：allows no GPU programming experience to write code。
No。重点是 high performance GPU code。
前面的 no GPU programming experience，重点也不是 python or cuda/c++ 语法差异的 experience。
这是三流的问题，高水平团队是不屑于解决的。更不要说 OpenAI 的团队。
我理解，此处的 GPU programming experience，关键还是 high performance programming 的 experience。
需要理解 GPU arch，精通 Memory Coalescing，SIMT 的调度，显存管理等。
这是一流的问题，也是 Triton 自我介绍的关键点。
Challenges of GPU Programming - 问题定义
个人理解，3 个地方要管好：
•
DRAM to SRAM。GPU kernel 的计算，从 d2s 开始。核心是 Memory Coalescing，以打满 bus width。