算力租赁圈子最近聊得最多的一个话题就是国产GPU到底能不能上生产环境。我在几家算力平台做过技术评估也实际把昇腾、寒武纪、燧原、摩尔线程的卡接进过咱们自己的推理和训练链路。说实话H100确实贵而且不是想买就能马上拿到货很多租赁商都在盘算同一个问题能不能把手上一部分单子切到国产卡上把成本打下来。这个念头不奇怪但真正动手测过之后你会发现答案不是简单的一句“能”或“不能”而是要分场景、分卡型、分软件栈一层层拆开来算账。这篇文章把我这段时间的实测过程、数据、踩坑记录完整整理出来给正在犹豫要不要上国产GPU的算力租赁同行一个参照。我不会讲太多虚的重点放在三件事国产卡和H100在训练、推理上的实际差距租赁业务里哪些负载能迁、哪些不能迁以及真正切换时工程上要付出多少代价。这些内容适合算力租赁平台的运营和技术负责人、做AI infra的工程师以及正在帮客户选型调研的朋友。看完你至少能判断出自己手上那批业务适不适合拿国产卡来兜底。1. 算力租赁商为什么盯着国产GPU不放1.1 一张H100能赚钱的前提租赁业务的商业模式很简单低买高卖算力。买卡、租机柜、拉带宽然后把GPU资源按小时或者按月分租出去。这一行能不能赚钱核心就看两个数单位算力的采购成本和单位算力的出租率。H100刚流行起来的时候单卡租金高客户抢着要回本周期确实漂亮。但这两年情况变了供给端拿卡越来越难价格也一路上涨新进来的租赁商很难用合理价格囤到足够多的H100。还有一个隐藏问题H100这类高端卡大部分客户都是冲着大模型训练来的要的就是单卡显存大、吞吐高。可训练业务有个特点需求波动极大。客户做一次预训练或者全量微调连续跑几个星期不关机器一旦项目结束或者效果不理想资源就空出来了。租赁商的痛苦就在这里高峰期卡不够用低谷期卡在机柜里吃灰但折旧和电费一分不少。国产GPU在这样的背景下进入视野逻辑就非常直接。价格比H100低一大截现货相对充足如果能在推理或者中小规模的训练任务上扛住压力那租赁商就可以把一部分长尾、波动大的业务引流过去把H100留给最核心的客户。换句话说国产卡能不能用本质上不是技术问题而是商业模式问题。只要单位成本摊下来比H100低哪怕单卡绝对性能差一些也有生意可做。1.2 国产卡的真实定位不是全面对标H100很多评测喜欢拿国产GPU直接和H100跑同一个模型然后说“差几倍”。这种对比有意义但很容易误导人。H100在FP16/BF16算力、显存带宽、互联速度上都是天花板级别的存在国产卡现在的目标并不是在这个赛道上正面硬刚而是通过更低的价格、更匹配的软件生态去承接那些其实用不满H100算力的负载。以我这几年的观察兼容层在快速收敛但是还没收敛完。早期用国产卡部署模型真的是从零开始折腾算子要手工替换图优化要手动搞甚至有些算子在框架里根本找不到只能绕路。现在昇腾的CANN、寒武纪的Neuware、燧原的驱动作了很多适配一些主流模型可以直接通过在深度学习框架里改几行环境变量或调用插件跑起来。但这套兼容层依然处在快速迭代期不同框架版本、CUDA算子、PyTorch版本之间的排列组合有时候就是能跑、有时候就报错很考验现场工程师的耐心。对于租赁商来说国产卡真实的定位应当是“高性价比的推理资源和中小规模训练资源”而不是“H100的平替”。你拿它去做大模型预训练几天跑下来发现性能和稳定性都不够但是如果做7B、13B模型的推理服务、做stable diffusion的批量出图、做视频结构化分析这类波动大但对吞吐要求没那么夸张的业务它就是值得认真考虑的选项。所以不管你最终要不要换卡这件事都值得花两周到一个月去实测拿到数据再做决策。2. 实测准备选卡、搭环境、定指标2.1 实测选型四款有代表性的卡市场上的国产GPU品牌很多不能每一家都测我按照当前市面上出货量、软件成熟度、租赁商关心的价格区间选了四款比较有代表性的卡来对比。分别是华为昇腾Atlas 300T大体对应昇腾910系列、寒武纪MLU370-S4、燧原云燧i20和摩尔线程MTT S4000。这几款卡有一个共同点都是近期在互联网、运营商和AI公司里实际有部署案例的不是PPT产品这样测出来的数据才有参考价值。从硬件规格上看昇腾910系列在标称算力上最接近H100显存也做到了64GB左右适合跑大点的大模型寒武纪MLU370在推理场景经验最丰富尤其CV和语音这块很多传统AI项目用它做加速燧原i20主要是性价比路线显存32GB主打国产推理场景摩尔线程MTT S4000显存48GB游戏向起家但计算卡也在铺市场。这四张卡的驱动和开发栈完全不一样正好能看出现阶段国产GPU生态的成熟度差异。我自己选卡有一个经验不要光看厂商给的TOPS、TFLOPS要看你能拿到多少实测资源。有些卡纸面参数很好看但生态不成熟你连个像样的推理引擎都跑不起来。选卡之前先去厂商官网把文档、适配矩阵、案例翻一遍确认你要跑的模型框架在不在支持列表里。这一步花不了多少时间但能省掉后面大量调试的功夫。2.2 驱动与容器环境的坎实测部署阶段第一个遇到的就是环境问题。H100那一套我们都习惯用NVIDIA官方容器镜像、CUDA 12.x、PyTorch直接拿过来用。国产卡完全不一样每一家都有自己的软件栈。昇腾有CANN寒武纪有Neuware燧原和摩尔线程也都有各自的SDK和运行时这就导致你没法用一套镜像打通所有卡。在一开始做基底镜像的时候我建议按品牌独立打镜像同一个业务代码准备多份部署脚本。这多出来的工程量说多不多说少也不少主要是环境变量的切换。比如昇腾生态里经常要设置ASCEND_VISIBLE_DEVICES来指定卡用torch_npu替换torch.cuda寒武纪要用CNRT和CNNL库代码里要做一层抽象燧原和摩尔线程的框架适配则更多依赖厂商提供的运行时工具。如果代码里头到处是device cuda这种写死的逻辑那改起来就很麻烦最好在代码入口处封装一层设备抽象让上层无感知。容器化是必须做的但不是为了炫技而是为了隔离这些乱七八糟的依赖。我现在的做法是把厂家自带的运行时、算子库、框架插件全部打包进各自的镜像然后通过不同tag来区分。客户要跑任务时按卡型拉对应的镜像里面已经把环境调好了这样能减少不少现场故障。如果你直接裸机装驱动再手动配环境不同客户的依赖互相打架一定会让你怀疑人生。2.3 评测指标怎么定才不偏评测不能只看跑分租赁商关心的永远是单位成本产出所以我把指标分成三组。第一组是纯性能训练侧看吞吐samples/s或tokens/s和收敛步耗时推理侧看吞吐、首token延迟、尾token延迟。第二组是资源指标包括峰值显存占用、平均功耗、散热情况。第三组是稳定性连续跑7天记录崩溃次数、性能抖动、掉卡频率。这些数据合在一起才能算清楚一张卡一年能带来多少营收。另外我还专门测了一个“迁移成本”指标就是同一个模型从CUDA版本适配到国产卡版本需要改多少行代码、替换多少算子、花多少时间。这个指标外界很少看但对租赁商来说极其重要。因为你不可能只靠一两个模型吃饭客户随时会带来新模型如果每个新模型都要大量人工适配那运维成本就会吃掉毛利。还有一点经验建议每张卡都先跑一遍厂商自带的demo和benchmark工具确认硬件和驱动是否正常再用自己的业务模型去压测。很多卡看起来性能差其实是因为驱动版本不对或者环境变量没配好。先跑官方用例可以先把环境层面的干扰排除掉。3. 训练和推理实测数据说话3.1 训练场景小模型微调和LoRA实测训练侧的实测我选了两个任务。一个是ResNet-50在ImageNet上的分类训练一个是用Llama-2-7B做LoRA微调。前者是经典CNN任务能看出基础算力和框架适配的成熟度后者偏大模型能看出显存、通信和大算子优化的实力。先说ResNet-50昇腾910这边借助主流深度学习框架的昇腾适配版batch size设为256吞吐能做到每秒大概2800到3200个样本和H100跑同样配置大概每秒4000到4500的样本相比差不多是60%到70%的水平。寒武纪MLU370在这类CNN任务上的表现也不弱每秒能跑到2200左右摩尔的卡稍好一点因为兼容层优化做得不错也能到2000上下。燧原i20表现中规中矩大概1700到2000之间。LoRA微调这边就更能看出问题了。H100用7B模型跑LoRA显存占用大概在18G到22G训练很流畅。昇腾910因为显存足够也能跑但框架层需要把OpType映射到CANN算子速度比H100慢不少大约是H100的50%。寒武纪和燧原跑7B LoRA就需要非常小心地调整batch size显存吃紧的时候就容易掉到CPU offload速度急转直下。摩尔线程我测试时还有部分算子要走动态回退速度只有H100的30%左右。这里要泼一盆冷水如果你的租赁客户主要要跑大模型预训练或者大规模微调国产卡现阶段很难顶上去。不是说跑不动而是同样的训一版模型耗费的时间和电费可能比租H100还贵。国产卡更适合的是那种模型结构固定、训练时间短、对吞吐不敏感的“小步快跑”场景。3.2 推理场景大模型和CV模型表现推理侧我分开测了两类。一类是LLM推理用vLLM或类vLLM的框架加载7B和13B模型测并发请求下的吞吐和延迟。另一类是CV推理跑YOLOv8目标检测和Stable Diffusion出图这两类业务在算力租赁平台上的需求很旺盛。LLM推理的结果让我比较意外。昇腾在7B模型上的表现比预期好用适配过的vLLM版本并发8的时候能跑到每秒1200到1500 tokens左右H100在同样并发下大概是2000到2500。寒武纪MLU370跑7B也还行大约每秒900到1100。燧原i20偏弱大概600到800。不过13B模型一上靠显存吃饭的局面就开始显现昇腾因为有64G显存依然能支撑较长上下文其他几款卡会频繁出现显存不足导致重新调度。Stable Diffusion出图这块H100一分钟能出20张左右的图昇腾大概12张寒武纪和燧原在8到10张摩尔线程稍差一点。CV检测反而是国产卡更适合的领域因为这类任务显存占用小、算子固定、数据流简单各家卡的优化都比较成熟。YOLOv8-S的推理性能昇腾和寒武纪能做到和H100差距在30%以内这个差距在租赁报价上是很好用成本优势弥补的。总结一下就是国产卡在LLM推理上能上但要选对型号和框架版本且首批客户最好以可控并发、非极限性能要求的业务为主。在CV推理和小批量出图这类场景上国产卡基本具备商用的兑换价值。3.3 对比数据汇总一张表看懂差距下表是我这次实测中比较有代表性的数据整理测试环境尽量保持同一机房、同一电源软件栈都选用各厂商已发布的最新稳定版。数据只代表我这一次测试结果不同版本和配置会有些出入。项目H100昇腾910寒武纪MLU370燧原i20摩尔线程MTT S4000ResNet-50训练吞吐samples/s42003000220018002000Llama-2-7B LoRA训练相对性能100%50%35%25%30%Llama-2-7B推理吞吐tokens/s并发8230013501000700850Stable Diffusion出图张/分钟2012988YOLOv8-S推理相对性能100%80%75%60%65%峰值显存张量并行场景80GB64GB32GB32GB48GB单卡市场参考价万元高中中低低中从数据能明显看出国产卡的综合性能和H100有差距但并不是所有场景都拉胯。如果你做的是CV检测这类轻算子、低显存需求的任务国产卡的实际可用性非常高价格香得多。如果你做大模型的预训练或者高并发LLM推理那就得掂量掂量稳定性、吞吐和生态的坑值不值省下的那部分硬件预算。4. 租赁商视角到底能不能换、怎么换4.1 可迁移场景和不可迁移场景我自己做了几年算力租赁有一个判断标准业务能不能迁到国产GPU关键看“算力利用率”和“容错率”。算力利用率指客户能不能把一张卡的性能吃满容错率指客户对偶发性能波动和延迟的容忍度。高可迁移场景有这么几类。一是传统CV推理比如安防视频结构化、工业质检、OCR识别这类模型不大并发也不夸张国产卡跑起来很稳客户对首token延迟很敏感但整体吞吐要求没那么极限。二是小批量AIGC出图很多工作室每天要跑几千张图单张图的生成时间多两秒少两秒普通用户感知不强但单卡成本却能在租金里明显拉开差距这种业务迁过去性价比极高。三是结构化数据的模型训练像推荐系统、点击率预估、风控模型这类模型的网络结构往往是固定稀疏特征显存占用少国产卡完全能胜任。四是模型微调和少量数据定制训练这种场景卡的绝对性能不重要反而是要频繁起停、灵活调度国产卡价格便宜做这种业务很划算。不可迁移的也很明显。第一类是大规模预训练LLM动辄几千张卡并行国产卡的互联带宽和集合通信生态还没到能稳定支撑万卡集群的水平硬件上的差距不是软件能弥补的。第二类是高并发、要求极低延迟的在线推理比如实时语音助手、高并发客服机器人现在国产卡面对突发流量时性能和稳定性都还不能和H100正面交锋。第三类是依赖第三方库固件的推理任务很多NVIDIA生态里面闭源优化的算法比如TensorRT里的某些插件、深度优化的算子在国产卡上根本找不到对应实现硬迁等于重新开发一遍。4.2 迁移成本到底有多高从这个切换成本出发给个实际工程里的经验数字。如果是一个中等规模100台GPU服务器的租赁平台想把30%到40%的推理业务迁到国产卡上一次性软硬件改造和适配投入通常需要一个5到8人的团队全职干三到六个月。这里包括驱动的调试、框架的适配、业务代码的设备抽象改造、监控体系的重建以及建立一套针对国产卡的自动化运维脚本。之前为一个平台做迁移遇到的最大开销不是硬件也不是电费而是人。技术人员对CUDA生态实在太熟了闭着眼都能调优到了国产卡这边各种工具链、调试器都还在追着成熟度走。一个性能问题定位可能要翻好几天的论坛和文档。你要是没有长期投入的打算不建议轻率启动迁移。不过好消息是现在的适配工作比两年前轻松太多最基础的大模型推理已经有很多现成方案可以直接基于对应厂商的部署框架来改不用从零造轮子。为了让成本可控建议把迁移做成灰度式。先挑一个对性能和稳定性要求最低的业务线做试点跑一两个月把运行数据、故障率、客户投诉记录统计出来。确认没问题后再扩大到更多场景。千万别搞“一刀切”式的停机搬迁否则出一堆问题客户跑了账就算不过来了。4.3 租赁定价策略用价格换流量用场景换利润算力租赁逃不开定价问题。国产卡不能简单地和H100同价竞争那样没有优势也不能价格太低否则毛利没法看。我的策略是“降30%起谈按场景加价”。同样规格的推理卡国产卡单卡租金定为H100的60%到70%这样客户能看到实打实的优惠平台也能保证每个卡位有利润。但光降价还不够我建议把国产卡做成资源池里的“弹性档位”。平时按需计费给客户一个可选择的自助入口用户如果对性能没意见就自动调度到国产卡上享受折扣价如果用户强调性能再调度到H100。这样既能提高国产卡的利用率也不得罪高端客户还能让平台多一层成本控制手段。实际运营下来大概有30%的客户愿意在非峰值时段用国产卡跑推理任务这个比例还在慢慢增加。还有一点是售前承诺要谨慎。国产卡在客户新模型上能跑出什么性能自己心里要有数。宁可给客户报保守一点的数据然后实际跑出来稍好一点也别拍胸脯保证和H100一样。信任一旦在合作初期垮掉后续很难弥补。5. 踩坑实录与排查速查表5.1 三个必须提前知道的大坑第一个坑是显存分配和碎片的问题。国产卡有些卡对显存管理相对保守模型反复重启或者并发度高的时候显存碎片化会比较严重跑几天后卡就开始报显存不足。H100上有成熟的内存池和动态显存管理工具国产卡这边更多的还是自己写保护。实测下来每天定时重启清理进程换来的稳定性提升远大于瞎调参数。第二个坑是算子和框架版本的“隐形绑定”。国产卡的算子库跟主流深度学习框架版本是一一对应的你升级了PyTorch可能就要同步更新CANN或者Neuware而更新之后又可能发现之前能跑的模型因为算子行为变化出现精度抖动。最稳妥的做法是冻结一套“框架算子库驱动”的组合版本测试通过后就不要随便动业务扩展时也用同一套组合去适配。第三个坑是监控体系缺失。NVIDIA有一套非常成熟的GPU监控体系比如DCGM可以看功耗、温度、显存、NVLink流量甚至还能预测硬件故障。国产卡各自的监控工具并不完全统一有的只能看温度和利用率看不到卡间通信流量有的监控agent还会自己挂掉。我们在迁移时专门把多平台的监控数据汇总到一个Prometheus里并做了统一告警这事看着不起眼但遇到掉卡或者高温降频能在十分钟内定位还是排查半天差距就在这里。5.2 常见问题快速排查表给一张可以直接收藏的排查表是这段时间实测和运维过程中整理出来的尽量覆盖最常见的问题。现象大概率原因排查方向和解决办法程序启动直接报驱动错误驱动程序没加载或版本不匹配先看npu-smi或对应厂商的卡状态命令能否正常识别卡重装驱动并确认内核版本和驱动兼容模型跑起来很快但输出结果不对算子精度问题或图优化编译缓存过期关闭图选项缓存重新编译换CPU模式跑一遍对比结果升级算子库到配套版本显存够用但提示OOM显存碎片化或内存池配置过小重启进程检查框架的显存缓存配置调低并发或batch size试验性能和benchmark差很多散热降频或电源模式不对看温度与当前频率检查风扇策略、供电模式确认是不是游戏卡和计算卡混跑了多卡间通信带宽低卡间互联未正确配置或拓扑不合理检查卡间link模式调整卡槽位置通过厂商提供的集合通信工具重新测试推理延迟偶尔很高CPU锁或io竞争偶发调度问题检查宿主机上其他进程频率绑核设置调整线程数模型在A卡能跑换B卡报算子缺失各家算子覆盖范围不一样查看报错日志中的算子名称替换为通用算子或等厂商新版本适配5.3 关于替换H100的一点实话折腾了这么久我对“国产GPU能不能换掉H100”这个问题的终极答案是分场景、分阶段能换掉一部分但不可能也不需要在所有场景里替换。如果你的平台上有大量固定模型的CV推理、图像生成、中小模型微调业务那国产GPU完全值得你投入资源去做适配。它会给你带来明显的成本优势甚至会帮你开拓一批对价格更敏感的客户。如果你的客户主要是大模型预训练、高并发大模型推理、复杂多模态训练那么现阶段还是老老实实配置H100或同类旗舰卡去碰国产卡只会让你自己陷入无休止的技术支持泥潭。我个人的体会是算力租赁不是卖硬件是卖综合服务。客户租你的卡看重的是能不能快速跑通模型、能不能稳定支撑业务、性价比高不高。国产GPU在“跑通”和“稳定”这两个词上跟H100还有差距但这个差距在以肉眼可见的速度缩小。你越早开始积累适配和运营经验后面就越有竞争力。现阶段最务实的做法是把它当成一个重要的补充算力池一步步测试、试点、扩展而不是把它当成救世主也不是把它一棍子打死。