最近在折腾语音合成想试试CosyVoice这个框架但手头只有AMD显卡。网上关于在AMD卡上跑AI模型的资料相对NVIDIA少很多踩了不少坑。今天就把从环境配置到成功跑通第一个模型的完整过程记录下来希望能帮到有同样需求的同学。1. 环境准备从驱动到ROCm想在AMD显卡上跑PyTorch这些深度学习框架核心是要安装ROCmRadeon Open Compute platform。你可以把它理解成AMD版的CUDA。两者的主要差异在于生态和兼容性CUDA生态成熟教程多ROCm是开源的对AMD卡原生支持好但部分新框架适配可能需要等一等。我的测试环境是Ubuntu 22.04 LTS显卡是一张RX 6700 XTRDNA2架构。下面是一步步的安装命令第一步检查并安装AMD显卡驱动首先确认你的显卡型号是否在ROCm支持列表中一般RDNA架构及之后的显卡都支持。然后安装官方驱动。# 更新系统包列表 sudo apt update # 安装必要的依赖 sudo apt install -y wget gnupg2 # 添加AMD ROCm仓库 wget -q -O - https://repo.radeon.com/rocm/rocm.gpg.key | sudo apt-key add - echo deb [archamd64] https://repo.radeon.com/rocm/apt/5.7.1/ ubuntu main | sudo tee /etc/apt/sources.list.d/rocm.list # 再次更新并安装ROCm sudo apt update sudo apt install -y rocm-hip-sdk rocm-opencl-sdk # 将当前用户添加到video和render组以便访问GPU设备 sudo usermod -a -G video,render $USER echo export PATH$PATH:/opt/rocm/bin ~/.bashrc echo export LD_LIBRARY_PATH$LD_LIBRARY_PATH:/opt/rocm/lib ~/.bashrc source ~/.bashrc # 重启系统或者重新登录 sudo reboot重启后运行rocm-smi命令如果能看到你的显卡信息说明驱动和ROCm基础环境安装成功。第二步安装支持ROCm的PyTorch这是最关键的一步。不能直接用pip install torch那样装的是CUDA版本。我们需要从PyTorch官网获取针对ROCm的安装命令。截至撰写时PyTorch 2.3 对ROCm 5.7支持较好。# 创建一个新的Python虚拟环境推荐 python3 -m venv cosyvoice_env source cosyvoice_env/bin/activate # 安装支持ROCm的PyTorch和TorchVision pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.7 # 验证PyTorch是否能识别到AMD GPU python3 -c import torch; print(fPyTorch版本: {torch.__version__}); print(f是否可用ROCm: {torch.cuda.is_available()}); print(f设备名称: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else \未检测到GPU\})如果输出显示True并正确打印了你的显卡型号恭喜你最难的坎已经过去了。2. 模型部署加载与运行CosyVoice环境搞定后我们来部署CosyVoice模型。这里假设你已经从Hugging Face或官方渠道下载了预训练模型。import torch import torchaudio import numpy as np from pathlib import Path import warnings warnings.filterwarnings(ignore) # 检查设备 device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device}) # 假设模型文件放在本地目录 ./cosyvoice_model/ model_path Path(./cosyvoice_model/) if not model_path.exists(): raise FileNotFoundError(f未在 {model_path} 找到模型文件请先下载。) # 加载模型这里以模拟加载为例实际需根据CosyVoice官方API调整 # 注意CosyVoice可能使用特定的模型类此处为演示流程 try: # 伪代码实际加载操作例如使用 transformers 库 # from transformers import AutoModelForTextToSpeech # model AutoModelForTextToSpeech.from_pretrained(str(model_path)).to(device) # 为演示我们创建一个模拟的张量操作来展示优化点 print(开始加载模型...) # 模拟模型参数 dummy_input torch.randn(1, 80, 100).to(device) # 模拟梅尔频谱输入 [batch, mel_bins, time] # 关键优化点1启用自动混合精度 (AMP)利用AMD矩阵核心加速FP16计算 # ROCm的HIP后端对FP16有良好支持能显著提升推理速度 scaler torch.cuda.amp.GradScaler() # 即使推理也可用scaler包装前向传播 with torch.cuda.amp.autocast(enabled(device.type cuda)): # 这里应替换为实际模型的前向传播 # output model(dummy_input) # 模拟一个计算密集型操作 weight torch.randn(512, 80, dtypetorch.float16).to(device) # 使用FP16权重 dummy_input_fp16 dummy_input.to(torch.float16) output torch.matmul(weight, dummy_input_fp16.mean(dim2, keepdimTrue)) # 模拟矩阵乘 print(f模拟推理完成输出形状: {output.shape}) print(模型加载与初步推理测试成功) except Exception as e: print(f模型加载或推理过程中出现错误: {e}) # 常见错误处理检查模型文件完整性、版本兼容性 # 建议确保PyTorch版本与模型训练时使用的版本兼容关键点注释自动混合精度 (AMP)通过torch.cuda.amp.autocast将部分计算自动转换为FP16能有效利用AMD显卡的矩阵核心Matrix Cores提升吞吐量同时保持关键部分的FP32精度以维持稳定性。张量核心优化在RDNA2及更新架构上使用torch.float16并确保张量维度对齐如矩阵乘的K维度是8的倍数可以触发更快的硬件路径。3. 性能调优后端选择与显存管理ROCm提供了HIP和OpenCL两种后端一般推荐HIP它是AMD为了兼容CUDA API而开发的性能更好兼容性也更佳。在安装PyTorch时我们默认就使用了HIP后端。显存管理是性能调优的核心。下面是一个简单的量化关系测试帮助你根据显存设置合适的batch size。import torch def profile_memory_usage(model, sample_input, max_batch8): 测试不同batch size下的显存占用 print(Batch Size | 显存占用 (MB) | 是否成功) print(- * 40) for bs in [1, 2, 4, 8]: try: torch.cuda.empty_cache() # 清空缓存 inputs sample_input.repeat(bs, 1, 1) # 扩展batch维度 # 模拟前向传播 with torch.no_grad(): _ model(inputs) if hasattr(model, __call__) else torch.matmul(inputs, inputs.transpose(1,2)) mem_allocated torch.cuda.memory_allocated(0) / 1024**2 # 转换为MB print(f{bs:^10} | {mem_allocated:^14.2f} | 是) except RuntimeError as e: print(f{bs:^10} | {-:^14} | 否 (可能OOM)) break # 模拟一个简单模型 class SimpleModel(torch.nn.Module): def __init__(self): super().__init__() self.linear torch.nn.Linear(80, 256) def forward(self, x): return self.linear(x.mean(dim-1)) model SimpleModel().to(device) sample torch.randn(1, 80, 100).to(device) profile_memory_usage(model, sample)根据经验对于显存为8GB的显卡如RX 6700 XT在运行CosyVoice这类中等规模的语音合成模型时Batch Size1显存占用约1.5-2.5 GB非常安全。Batch Size2显存占用约3-4 GB留有充足余量。Batch Size4显存占用可能达到5-6 GB需注意系统和其他应用占用。Batch Size8很可能触发OOM内存不足不建议尝试。最佳实践从batch size1开始逐步增加同时使用torch.cuda.empty_cache()及时清理缓存并通过torch.cuda.memory_summary()监控显存碎片。4. 避坑指南常见错误与解决问题1libtorch版本冲突或找不到ImportError: libamdhip64.so.5: cannot open shared object file: No such file or directory解决这通常是ROCm库路径未正确设置。确保LD_LIBRARY_PATH包含/opt/rocm/lib并检查是否安装了正确版本的ROCm与PyTorch版本匹配。问题2FP16精度导致合成语音质量下降或出现杂音解决AMP的自动转换可能对某些敏感操作过于激进。可以尝试禁用AMP全程使用FP32推理速度会下降。在模型定义中使用torch.nn.Module的.half()方法将整个模型转换为FP16有时比自动转换更稳定。定位到问题层如某些归一化层用torch.cuda.amp.autocast(enabledFalse)局部禁用混合精度。问题3推理速度远低于预期解决确认torch.cuda.get_device_name()显示的是你的显卡而非CPU。使用rocprof工具进行性能分析rocprof --stats python your_script.py查看内核调用和耗时。检查是否因CPU数据预处理如音频加载、文本编码成为瓶颈。考虑使用torch.utils.data.DataLoader并增加num_workers。问题4模型加载时出现奇怪的张量形状错误解决CosyVoice的预训练模型可能是用特定版本的PyTorch或CUDA训练的。尝试使用与模型发布方推荐的相同PyTorch版本。如果是从Hugging Face下载确保使用trust_remote_codeTrue参数如果适用。将模型加载到CPU后再转移到GPU.to(device)有时可以避免直接的设备不匹配错误。5. 扩展思考利用MIOpen加速对于RDNA架构的AMD显卡除了基础的HIP运行时还可以探索使用MIOpen来加速模型中的卷积运算。MIOpen是AMD的深度学习原语库针对其GPU架构高度优化。如果你的模型中有大量的卷积层某些语音合成模型的编码器中可能会有可以尝试确保MIOpen已安装它通常包含在rocm-hip-sdk中。可以通过apt list --installed | grep miopen检查。PyTorch集成PyTorch在编译时如果检测到MIOpen会自动将其用于卷积、池化等操作的后端。你可以通过以下代码验证import torch.backends.cudnn as cudnn # 虽然叫cudnn但ROCm下它会指向MIOpen print(f可用的卷积加速后端: {torch.backends.cudnn.enabled}) # 尝试一个卷积操作看是否使用了优化内核 conv torch.nn.Conv2d(3, 64, kernel_size3).to(device) input torch.randn(1, 3, 224, 224).to(device) output conv(input) print(卷积计算完成如果未报错且速度尚可说明MIOpen在正常工作。)手动调优对于固定大小的输入可以启用cudnn.benchmark True同样适用于MIOpen让PyTorch在第一次运行时寻找最优的卷积算法并在后续重复使用。torch.backends.cudnn.benchmark True # 对变化不大的输入尺寸有益不过要注意对于语音合成任务其计算瓶颈往往在Transformer的自注意力层或RNN部分而非卷积。因此这个优化可能带来的提升因模型结构而异。写在最后折腾了几天终于让CosyVoice在AMD显卡上跑起来了。整个过程最大的感触就是ROCm的生态确实在快速改善只要按照官方文档一步步来大部分问题都能解决。性能上我的RX 6700 XT在FP16混合精度下合成一段几秒的语音推理时间在可接受范围内比纯CPU快了一个数量级。对于想尝试的开发者我的建议是耐心跟着官方ROCm安装指南走优先使用Ubuntu系统社区支持最好。遇到问题多查ROCm的GitHub Issues和PyTorch论坛很多坑已经有人踩过了。希望这篇笔记能帮你少走些弯路。AI不只是NVIDIA的游戏AMD平台也能有一席之地。