GPU架构学习笔记面试精炼版一、GPU 与 CPU 核心差异1. GPU 特点设计目标追求高吞吐量面向大规模多线程并行计算核心数量数千个轻量级小核心CUDA Core缓存结构小缓存 高带宽弱化单线程延迟强化并发吞吐典型场景矩阵运算、卷积、图像处理、深度学习训练/推理2. CPU 特点设计目标追求低延迟强调单线程高性能核心数量少量大核心一般 2~64 核控制逻辑复杂缓存结构大缓存 低延迟减少访存等待典型场景系统调度、逻辑控制、分支判断、串行任务3. 核心总结面试必背CPU擅长单任务低延迟核心少但控制单元复杂、缓存大适合复杂逻辑与串行流程。GPU牺牲单线程性能用数千个轻量计算核心并行执行海量简单任务天然适配深度学习中矩阵乘法、卷积这类高度并行计算。二、NVIDIA GPU 核心架构1. SM流式多处理器定位GPU最小独立执行单元所有并行计算都在 SM 内完成。SM 数量与算力A100108 个 SMRTX 309082 个 SMSM 数量直接决定峰值并行计算能力。SM 占用率深度学习训练中建议SM 占用率 80%占用率过低 GPU 算力未被充分利用 训练速度慢。2. Tensor Core张量核心核心功能NVIDIA 专为矩阵乘法 卷积设计的专用硬件单元原生支持混合精度计算。性能优势相比普通 CUDA Core矩阵乘法速度提升5~10 倍是混合精度训练的底层硬件基础。工作机制在精度损失可控前提下用FP16 替代部分 FP32 计算既提升计算速度又降低显存占用是大模型微调、训练提速的必备硬件条件。三、GPU 显存层级结构面试高频从快到慢、从近到远寄存器 → 共享内存 → L1 缓存 → L2 缓存 → 全局显存 → CPU 内存1. 寄存器位置SM 内部速度1~10 ns容量每个 SM 几 MB用途存储线程私有变量、计算中间结果最快、最小。2. 共享内存Shared Memory位置SM 内部速度10~20 ns容量每个 SM 几十 MB用途同一个 Block 内线程共享数据减少全局显存访问。3. L1 缓存位置SM 内部速度20~40 ns容量每个 SM 几十 MB用途缓存全局显存数据降低访存延迟。4. L2 缓存位置GPU 全局速度100~200 ns容量数 GB用途所有 SM 共享全局显存的二级缓存。5. 全局显存Global Memory位置GPU 板载外部GDDR/HBM速度500~1000 ns容量数十 GB用途存储模型参数、梯度、输入输出数据容量最大、最慢。6. CPU 内存位置主机端速度~10000 ns容量上百 GB用途存储训练数据集、模型备份、CPU 侧逻辑数据。显存结构总结面试必背从寄存器到全局显存访问速度相差 100~1000 倍。深度学习训练性能瓶颈通常不在计算而在显存带宽即全局显存 ↔ SM 之间的数据搬运速度。优化核心尽可能减少全局显存访问次数用好高速缓存。四、显存带宽的作用1. 定义单位时间内GPU 从全局显存读取/写入的数据量。2. 对深度学习的关键影响大模型训练中参数、梯度、激活、优化器状态全部依赖显存带宽。带宽不足时SM 算力再强也会空等数据出现“算力闲置”。DDP 多卡训练中NCCL 梯度同步通信会直接占用显存带宽带宽不足会拖慢同步效率。五、核心硬件特性 ↔ 深度学习优化面试串联题SM 数量越多 → 并行能力越强优化DDP 多卡训练、提高 batch size提升 SM 利用率。Tensor Core支持混合精度提速 降显存优化开启torch.cuda.amp自动混合精度训练。显存带宽越高 → 数据搬运越快缓解“内存墙”优化FP16/FP8、梯度累积、显存分片、减少 CPU↔GPU 拷贝。全局显存容量直接决定能训多大模型优化模型并行、ZeRO 优化、梯度检查点、激活重计算。NVLink / NVSwitch决定多卡通信速度影响DDP 梯度同步、分布式训练效率。六、高频面试考题标准答案版1. 为什么 GPU 比 CPU 更适合深度学习训练深度学习核心是矩阵乘法、卷积等高度并行任务而非复杂逻辑控制。GPU 拥有数千个轻量 SM/CUDA 核心可大规模并行计算吞吐远高于 CPU 少量大核心。GPU显存带宽远高于 CPU 内存能支撑海量参数与数据的高速读写解决深度学习的内存墙问题。2. Tensor Core 对混合精度训练的加速作用Tensor Core 是 NVIDIA 专为矩阵运算设计的专用硬件原生支持 FP16/FP32 等低精度。相比传统 CUDA Core计算速度提升5~10 倍低精度运算周期更短。显存占用降低约50%减少访存压力。混合精度训练中前向/反向用FP16计算权重用FP32保存在精度损失可控前提下兼顾速度、显存、精度。3. 显存层级结构对大模型训练优化有什么启发不同层级速度差距极大优化核心尽量少访问全局显存。具体优化思路充分利用共享内存缓存重复访问数据降低全局显存读写。开启混合精度FP16/FP8减少单数据体积提升带宽利用率。使用梯度累积、显存分片降低瞬时显存占用。避免频繁 CPU↔GPU 数据拷贝减少跨端传输。