随着自2006年NVIDIA CUDA平台发明以来最大的一次进步CUDA 13.1推出了NVIDIA CUDA Tile。这项激动人心的创新引入了一个用于基于图块的并行编程的虚拟指令集其核心在于能够以更高的层次编写算法并抽象掉专用硬件如张量核心的细节。为何为GPU引入图块编程CUDA为开发者提供了一个单指令多线程SIMT的硬件和编程模型。这要求并使得开发者能够以最大的灵活性和特异性对代码的执行方式进行细粒度控制。然而这也可能需要投入大量精力来编写性能优良的代码尤其是在跨越多个GPU架构时。市面上有许多库可以帮助开发者挖掘性能例如某中心的CUDA-X和某中心的CUTLASS。CUDA Tile引入了一种在比SIMT更高层次上对GPU进行编程的新方法。随着计算工作负载尤其是AI领域的演进张量已成为一种基本数据类型。某中心开发了用于处理张量的专用硬件例如某中心张量核心TC和某中心张量内存加速器TMA这些现已集成到每一个新的GPU架构中。随着硬件变得更加复杂就需要更多的软件来帮助驾驭这些能力。CUDA Tile抽象了张量核心及其编程模型使得使用CUDA Tile的代码能够与当前及未来的张量核心架构兼容。基于图块的编程使你能够通过指定数据块即图块然后定义在这些图块上执行的计算来编程你的算法。你无需在逐个元素的层面设定算法如何执行编译器与运行时会为你处理这一切。图1展示了我们随CUDA Tile引入的图块模型与CUDA SIMT模型在概念上的差异。图1. 图块模型左将数据划分为块由编译器映射到线程。SIMT模型右将数据映射到块和线程。这种编程范式在Python等语言中很常见像NumPy这样的库使你能够指定矩阵等数据类型然后用简单的代码指定和执行批量操作。在底层正确的事情会发生而你的计算对你来说是完全透明的。CUDA Tile IR图块编程的基础CUDA Tile的基础是CUDA Tile IR中间表示。CUDA Tile IR引入了一个虚拟指令集支持将硬件作为图块操作进行原生编程。开发者可以编写更高级别的代码这些代码只需最少改动就能在数代GPU上高效执行。虽然某中心并行线程执行PTX确保了SIMT程序的可移植性但CUDA Tile IR通过原生支持基于图块的程序扩展了CUDA平台。开发者专注于将其数据并行程序划分为图块和图块块而让CUDA Tile IR处理到硬件资源如线程、内存层次结构和张量核心的映射。通过提升抽象层次CUDA Tile IR使用户能够为某中心硬件构建更高级别的硬件特定编译器、框架和领域特定语言DSL。CUDA Tile IR对于图块编程的意义类似于PTX对于SIMT编程。需要指出的是这并非非此即彼的情况。GPU上的图块编程是编写GPU代码的另一种方法但你无需在SIMT和图块编程之间做出选择它们可以共存。当你需要SIMT时你可以像往常一样编写你的内核。当你想使用张量核心进行操作时你可以编写图块内核。图2展示了CUDA Tile如何融入一个典型的软件栈的高层示意图以及图块路径如何作为与现有SIMT路径分离但互补的路径而存在。图2. 编译的图块路径融入完整的软件栈中与SIMT路径相邻。开发者如何使用CUDA Tile编写GPU应用CUDA Tile IR是绝大多数程序员与图块编程交互的层面之下的一层。除非你在编写编译器或库否则你可能不需要关心CUDA Tile IR软件的细节。某中心cuTile Python大多数开发者将通过诸如某中心cuTile Python这样的软件与CUDA图块编程交互——这是一个使用CUDA Tile IR作为后端的某中心Python实现。有一篇博客文章解释了如何使用cuTile-python并附带了示例代码和文档链接。CUDA Tile IR对于那些希望构建自己的DSL编译器或库的开发者CUDA Tile IR将是你们与CUDA Tile交互的地方。CUDA Tile IR文档和规范包含了关于CUDA Tile IR编程抽象、语法和语义的信息。如果你正在编写一个当前以PTX为目标的工具/编译器/库那么你可以调整你的软件使其也能以CUDA Tile IR为目标。视频1. 解析CUDA Tile的核心概念如何获取CUDA Tile软件CUDA Tile随CUDA 13.1一同发布。所有信息包括文档链接、GitHub仓库和示例代码均可在CUDA Tile页面找到。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享