1⃣ 现代 HPC 系统的内存层次结构现代高性能计算HPC系统为应用开发者带来了复杂的内存层次结构这些层次包括多种类型的内存每种内存都有不同的访问模式、容量和性能特性。解析HPC 系统通常包含多级缓存、主存、GPU/加速器内存、NVRAM等多种内存类型。不同内存的访问延迟、带宽和容量有明显差异例如 GPU 全局内存访问比 CPU L1 缓存慢得多。应用程序开发者需要管理这些复杂的内存层次以充分利用硬件性能。2⃣ Umpire 内存管理库为了应对这些挑战劳伦斯利物莫尔国家实验室LLNL开发了Umpire它是一个面向现代 HPC 平台的开源 C 内存管理库。解析Umpire可以让开发者以更抽象、统一的方式管理不同类型的内存。提供动态分配、内存迁移、内存池、跟踪和性能统计等功能。面向多层内存架构和异构计算环境CPUGPU。3⃣ Umpire 的设计原则与性能优势本展示介绍了 Umpire 的设计原则概述了其主要性能优势和局限性并推动对在现代 C HPC 应用中管理复杂内存层次的实用策略的讨论。解析设计原则统一接口、轻量开销、可扩展、支持异构内存。性能优势减少内存碎片和重复分配。支持快速分配和回收。能够在不同内存类型之间迁移数据以优化访问。局限性对极端低延迟访问可能仍有开销。使用者需要了解内存类型特性来选择策略。实用策略讨论如何根据访问模式、计算模式、数据大小、缓存亲和性等来选择内存分配策略。4⃣ 补充 HPC 概念注释- 内存类型 (Memory Types): L1/L2/L3 Cache, DRAM, HBM, NVRAM, GPU Global/Shared Memory - 访问模式 (Access Patterns): 顺序访问, 随机访问, 并行访问 - 性能特性 (Performance Characteristics): 带宽, 延迟, 容量, 并行可访问性 - 内存管理策略: 1. Pool Allocation内存池分配 2. Migration内存迁移 3. Tracking Stats跟踪统计1⃣ Umpire 是什么原文Umpire is a C open-source library that provides a unified, portable memory management API for modern HPC platforms****Umpire 是一个 C 开源库为现代高性能计算HPC平台提供统一且可移植的内存管理接口API。解析统一接口 (Unified API)开发者使用同一套函数和类不必关心底层硬件差异。可移植性 (Portable)程序可以在不同厂商的 CPU/GPU/加速器上运行无需修改代码。HPC 平台适配支持多种高性能计算硬件包括 CPU、GPU、FPGA 等。2⃣ Umpire 抽象了供应商特性原文Umpire abstracts away vendor-specific details to expose essential memory characteristics****Umpire 将厂商特定的细节抽象掉仅暴露关键内存特性给开发者。解析厂商细节 (Vendor-specific details)不同 GPU/CPU 的内存访问模式、带宽、延迟差异。抽象 (Abstraction)通过 Umpire开发者只需关注内存的逻辑特性而不必编写针对特定 GPU 或 CPU 的分配代码。关键内存特性内存类型Host, Device, Pinned, Unified 等内存容量访问模式顺序访问 vs 随机访问分配/释放接口的性能公式表示Memory API : Umpire → type, size, access pattern, performance \text{Memory API} : \text{Umpire} \rightarrow {\text{type, size, access pattern, performance}}Memory API:Umpire→type, size, access pattern, performanceUmpire 将硬件细节映射为统一的内存特性集合。3⃣ Umpire 的核心目标原文Umpire enables developers to write applications that efficiently utilize heterogeneous memory systems while remaining portable across different hardware platforms****Umpire 使开发者能够编写高效利用异构内存系统的应用程序同时保持在不同硬件平台上的可移植性。解析异构内存系统 (Heterogeneous memory systems)包括 CPU 主存、GPU 内存、高速缓存、NVRAM 等。高效利用 (Efficient utilization)数据可在不同内存层间迁移实现低延迟访问和高带宽传输。可移植性 (Portability)同一套应用代码在不同厂商硬件上运行无需修改。流程示意公式Application → Umpire API Heterogeneous Memory → Portable CPU/GPU/FPGA \text{Application} \xrightarrow{\text{Umpire API}} \text{Heterogeneous Memory} \xrightarrow{\text{Portable}} \text{CPU/GPU/FPGA}ApplicationUmpire API​Heterogeneous MemoryPortable​CPU/GPU/FPGA应用通过 Umpire API 访问异构内存系统并保持在不同硬件上的可移植性。4⃣ 代码示例伪代码展示统一 API#includeumpire/ResourceManager.hppintmain(){autormumpire::ResourceManager::getInstance();// 分配 1GB GPU 内存void*gpu_ptrrm.allocate(1024*1024*1024,DEVICE);// 分配 512MB CPU 主存void*host_ptrrm.allocate(512*1024*1024,HOST);// 释放内存rm.deallocate(gpu_ptr);rm.deallocate(host_ptr);}注释ResourceManager提供统一接口不用关心 GPU/CPU 底层实现。DEVICE、HOST是抽象的内存类型标识符。代码保持可移植性可在不同厂商硬件上运行。1⃣ 内存资源Memory Resources原文Memory Resources represent the different types of memory available on a system****内存资源表示系统中可用的不同类型内存。解析HPC 系统存在多种内存类型如HOSTCPU 主存DEVICEGPU 内存PINNED页锁定内存用于加速 CPU ↔ GPU 数据传输UNIFIED/SHARED统一虚拟内存Umpire 内存资源抽象了这些硬件差异开发者通过统一接口访问。2⃣ 分配器Allocators原文Allocators are the primary interface through which applications interact with Umpire****分配器是应用程序与 Umpire 交互的主要接口。示例代码#includeumpire/ResourceManager.hppautormumpire::ResourceManager::getInstance();// 获取 HOST 内存分配器autoallocatorrm.getAllocator(HOST);// 使用分配器分配内存double*datastatic_castdouble*(allocator.allocate(100*sizeof(double)));// 计算或操作数据// ...// 释放内存allocator.deallocate(data);注释getAllocator(HOST)返回 CPU 主存分配器allocate/deallocate提供统一分配接口保持代码可移植性无需关心具体硬件3⃣ 分配策略Allocation Strategies原文Allocation Strategies enable sophisticated memory allocation algorithms****分配策略允许开发者使用更高级的内存分配算法例如内存池、线程安全分配器等。示例代码// 创建 QuickPool 内存池autopoolrm.makeAllocatorumpire::strategy::QuickPool(pool,rm.getAllocator(DEVICE));// 创建线程安全的内存池autoth_safe_poolrm.makeAllocatorumpire::strategy::ThreadSafeAllocator(pool2,pool);// 分配 GPU 内存double*datastatic_castdouble*(th_safe_pool.allocate(100*sizeof(double)));// 计算或操作数据// ...// 释放内存th_safe_pool.deallocate(data);解析QuickPool快速分配适合重复小块分配ThreadSafeAllocator保证多线程下安全访问组合策略可以在不同策略之间嵌套实现高效且安全的内存管理公式表示Allocator Strategy ( MemoryResource ) \text{Allocator} \text{Strategy}(\text{MemoryResource})AllocatorStrategy(MemoryResource)分配器由策略包装底层内存资源形成。4⃣ 内存操作Operations原文Operations provide a unified interface for memory manipulation tasks****Umpire 提供统一接口来执行内存操作例如内存拷贝、迁移、初始化。示例代码autormumpire::ResourceManager::getInstance();autocpu_allocatorrm.getAllocator(HOST);autogpu_allocatorrm.getAllocator(DEVICE);double*srcstatic_castdouble*(cpu_allocator.allocate(100*sizeof(double)));double*deststatic_castdouble*(gpu_allocator.allocate(100*sizeof(double)));// 将数据从 CPU 主存拷贝到 GPU 内存rm.copy(dest,src);解析rm.copy(dest, src)自动选择最佳硬件通道无需开发者手动处理cudaMemcpy或memcpy保持统一接口、跨平台可移植公式表示copy ( d e s t , s r c ) : MemoryResource ∗ s r c → MemoryResource ∗ d e s t \text{copy}(dest, src) : \text{MemoryResource}*{src} \to \text{MemoryResource}*{dest}copy(dest,src):MemoryResource∗src→MemoryResource∗dest5⃣ 多语言支持和调试工具原文Umpire also includes multi-language support with C and Fortran bindings and debugging tools (Replay, Caliper Service, etc.)****多语言绑定提供 C 和 Fortran 接口方便 HPC 应用集成调试工具Replay记录和回放分配行为Caliper Service性能分析工具用于监控内存使用和优化作用支持跨语言 HPC 应用提高调试效率帮助分析内存性能瓶颈总结Memory Resources→ 系统中的不同内存类型Allocators→ 提供统一分配接口Allocation Strategies→ 高级分配策略内存池、线程安全Operations→ 内存操作统一接口拷贝、迁移、初始化多语言 调试工具→ C/Fortran 绑定 性能分析QuickPool 对随机分配4~256KB性能最佳比 native hipMalloc/hipFree 高 15 倍对于大块内存256KBUmpire 能超过 hipMalloc 约 10% 提升CPU 分配因元数据开销约 290 μs效果不明显但随着分配块增大优势显现详细理解1⃣ 内存池策略Memory Pool StrategiesUmpire 的优势相比设备特定的 API如 CUDA 的cudaMalloc/ HIP 的hipMalloc使用内存池分配更低开销。内存池通过提前分配大块连续内存再在内部划分小块避免频繁调用系统 API。常用策略QuickPool快速分配适合小块随机分配性能最高DynamicPoolList适合动态变化的分配模式MixedPool混合策略结合多种分配模式公式化理解T alloc QuickPool ≪ T alloc hipMalloc T_{\text{alloc}}^{\text{QuickPool}} \ll T_{\text{alloc}}^{\text{hipMalloc}}TallocQuickPool​≪TallochipMalloc​在随机小块分配场景下QuickPool 分配时间远低于原生 HIP 分配时间2⃣ 小块随机分配性能Figure 1场景随机分配大小在 4 KB ~ 256 KB结果QuickPool优于 DynamicPoolList 和 MixedPool适用于 GPU 多节点LLNL RzAdams每节点 4 个 AMD Instinct MI300A 加速器解释QuickPool 通过预分配大块显著减少了系统调用次数随机分配模式对普通hipMalloc非常慢而池化策略几乎无影响3⃣ 与原生 HIP 分配比较Figure 2实验QuickPool vs 原生 HIP (hipMalloc/hipFree)结果QuickPool 性能提升 15 倍即使是小块内存分配也能显著降低延迟公式化理解Speedup T HIP T QuickPool ≈ 15 \text{Speedup} \frac{T_{\text{HIP}}}{T_{\text{QuickPool}}} \approx 15SpeedupTQuickPool​THIP​​≈154⃣ 大块内存分配趋势Figure 3实验分配大小增长到 256 KB对比系统库调用 vs Umpire 分配器HOST / DEVICE结果对 DEVICEGPU内存小块分配略慢1.58~1.78 倍慢于原生hipMalloc分配块越大开销比例越低256 KB 时Umpire 比hipMalloc快约 10%对 HOSTCPU内存小块分配开销约 290 μs元数据收集开销随着块增大性能与系统分配接近解释内存池初始化和元数据管理带来一定开销对大块分配高效的池化策略能充分利用连续内存块提升性能公式化理解Overhead Ratio T Umpire − T Native T Native → size ↑ 0 \text{Overhead Ratio} \frac{T_{\text{Umpire}} - T_{\text{Native}}}{T_{\text{Native}}} \xrightarrow{\text{size ↑}} 0Overhead RatioTNative​TUmpire​−TNative​​size ↑​0随着分配块增大Umpire 的开销接近零甚至略优于原生分配5⃣ 总结方面结果注释小块随机分配QuickPool 15× HIP适合 GPU 随机小块分配场景大块分配256 KB 时 Umpire 快 10%池化策略充分发挥优势CPU 分配元数据开销约 290 μs可关闭元数据收集整体趋势分配块越大池化优势越明显GPU/CPU 都适用结论Umpire 内存池策略显著降低 HPC 应用内存分配开销QuickPool对随机小块 GPU 分配性能最佳大块分配时Umpire 与原生 API 性能持平甚至略优元数据开销对小块 CPU 分配有影响可通过配置优化Umpire’s memory pools are used extensively in LLNL Production Codes such as:SAMRAI: C 库用于自适应网格细化AMR应用MARBL: 多物理场模拟高能密度物理的代码Additional upcoming Umpire plans:使用 C17 特性优化新的ResourceAwarePool将PendingList更新为PendingMap利用std::unordered_multimap、std::optional、std::reference_wrapper优化并分析 GPU 可访问的IPC 分配器推广 GPU 内核专用的Device Allocator更新到 C20并改进 Fortran 接口使用更多 C concepts 重构 Umpire API详细理解与注释1⃣ LLNL 生产环境代码中的应用SAMRAIC 库用于自适应网格细化AMR, Adaptive Mesh Refinement特点网格动态变化、内存访问模式复杂Umpire 的内存池可以提供快速且可预测的内存分配提高 AMR 应用性能MARBL多物理场模拟高能密度物理内存需求大GPU/CPU 异构环境下的高性能分配很关键Umpire 提供统一接口管理 HOST/DEVICE 内存减少开发复杂度注释Umpire 内存池在 HPC 大型模拟代码中主要作用是高性能分配与可移植性。2⃣ Umpire 未来规划(a) C17 特性优化 ResourceAwarePool利用 C17 的特性提升性能和表达能力std::unordered_multimap高效查找 Pending 分配块std::optional可选值管理减少无效指针操作std::reference_wrapper安全引用管理避免拷贝大对象目标让 ResourceAwarePool更高效、更安全尤其在 GPU 与多线程场景(b) GPU-可访问 IPC 分配器优化IPCInter-Process Communication分配器支持跨进程共享内存优化方向提升 GPU 可访问性减少同步与开销对多 GPU / 异构系统应用非常关键© Device AllocatorGPU 内核专用分配器用途在 GPU kernel 内部直接分配内存避免 host-device 数据传输提高 GPU 内核效率适合高并行、高性能计算任务(d) 更新到 C20 并改进 Fortran 接口C20Concepts, ranges, constexpr 改进使 API 更现代化、类型安全Fortran 接口优化方便 Fortran HPC 用户调用 Umpire保持多语言兼容性(e) API 重构目标使用更多C concepts优点类型安全减少错误的分配器使用可读性高API 更直观可扩展性好便于未来支持更多内存类型3⃣ 总结Umpire 在 HPC 中的作用高性能内存分配HOST/GPU可移植、统一接口支持复杂异构内存系统未来发展方向利用现代 C 特性优化内存池GPU 内核内存分配支持跨语言接口改进C20 / FortranAPI 现代化提升安全性和可扩展性关键理解点ResourceAwarePoolPendingMap用于高性能、线程安全的动态分配管理Device AllocatorGPU 内核内部分配减少数据传输IPC allocatorGPU 可访问的进程间共享内存C17/C20新特性提升 API 表达能力与安全性感兴趣可以去看看对应的代码和文档https://github.com/LLNL/Umpirehttps://umpire.readthedocs.io/en/develop/sphinx/tutorial/c/pools.html