我们今天的高清视频告诉你如何使用一张PCIe 6.0 switch卡如何可以同时连接、测试3张PCIe 6.0 x16插卡。在 PCIe Gen6 测试环境里很多客户一开始最关心的是一件事我有一张 Gen6 Switch 卡如果只是测一张 PCIe 6.0 板卡直接插到Switch卡顶部的 PCIe 插槽里好像就可以了。那如果我要测多张 AIC (add-in card) 板卡比如 PCIe x16、PCIe x8 的工程卡、GPU 卡、加速卡、网卡、SSD 转接卡又该怎么接这个问题看起来只是“多接几张卡”但真正到了实验室台面上会发现它不是一根线、一个转接头就能解决的。因为 PCIe Gen6 环境里至少有三件事必须同时考虑第一拓扑上能不能把两个 MCIO x8 合成一个 PCIe x16 第二物理上有没有合适的 MCIO 到 PCIe 插槽转接方案 第三高速测试时供电、散热、lane 顺序和信号质量能不能撑得住。这次视频演示的重点就是通过一张 Gen6 Switch 卡配合 MCIO to AIC Adapter把 MCIO x8 接口转换成可以插 AIC 板卡的 PCIe x16 插槽并且把散热、供电和连接顺序一起讲清楚。为了方便工程师观看我们针对本期视频并处理添加了中文字幕供大家参考。如果想看高清视频建议要在电脑上打开上面的视频链接进行观看创作不易欢迎分享到朋友圈或者与朋友讨论如果想搬运我们的视频请告知我们。PCIe 6.0 80-Lane Switch多卡测试怎么接一、如果只测一张 AIC最直接的办法就是插到板上插槽视频一开始先讲了一个最简单的场景。如果客户只是想用这张 Gen6 Switch 卡连接一张 AIC 板卡那最直接的方式就是把 AIC 板卡插到 Switch 卡上提供的 PCIe 插槽位置。这个方式很直观也很适合做单卡验证。比如客户手里有一张 PCIe Gen5 或 Gen6 的 endpoint 工程卡只想确认能不能枚举、能不能 link up、能不能跑基本功能直接插槽连接是最容易理解的方式。但现实测试里客户往往不会只测一张卡。很多时候他们会有这样的需求同时测多张 AIC 板卡 同时测 PCIe x16 和 x8 endpoint 验证 switch 下挂多个设备时的枚举和链路训练 模拟服务器里多设备、多槽位、多下行端口的复杂拓扑 把 GPU、SSD、NIC、DPU、FPGA 加速卡混在一起做测试。这时候单个插槽就不够用了。二、要测多张 AIC就要用到左右两侧的 MCIO 口这张 Gen6 Switch 卡的一个重要设计就是板上提供了多个 MCIO 接口。MCIO 是现在服务器、加速卡、存储扩展环境里非常常见的高速线缆连接方式。它的好处是体积小、密度高适合把 PCIe lane 从一块板引到另一块板。在这次演示里MCIO 口是 x8 形态。也就是说一个 MCIO x8 接口可以承载 8 条 PCIe lane。但很多 AIC 板卡尤其是 GPU、加速卡、一些高性能 endpoint 工程卡通常希望使用 PCIe x16 插槽。这个时候就会遇到一个问题一个 MCIO x8 只有 8 条 lane怎么变成 PCIe x16答案就是两个 MCIO x8 合成一个 PCIe x16。这不是简单把两根线随便插在一起而是需要 Switch 卡逻辑上支持这种组合。视频里也特别提到这些 MCIO 口内部已经有相应控制逻辑可以支持把两个 MCIO x8 合并成一个 x16 来使用。所以这里要区分两个层面逻辑层面Switch 卡要支持两个 x8 组合成一个 x16。 物理层面需要一块转接板把两个 MCIO x8 接口真正转成一个 PCIe x16 插槽。这就是 MCIO to AIC Adapter 出场的原因。三、MCIO to AIC Adapter不是普通“小转板”而是一套完整测试夹具视频里展示的转接方案核心功能是把两个 MCIO x8 接口转换成一个可以插 AIC 板卡的 PCIe x16 插槽。下图为gen6 x16插槽中插入了一张Nvidia CX8 800GE网卡从连接关系上看可以理解成Gen6 Switch Card↓两个 MCIO x8 cable↓MCIO to AIC Adapter↓PCIe x16 slot↓AIC 板卡 / GPU / 工程卡这个转接板上有两个 MCIO x8 接口另一侧提供 PCIe x16 插槽。这样客户就可以把原本从 Switch 卡 MCIO 口引出来的 lane转换成传统 AIC 板卡能直接插入的形态。这看起来好像只是“MCIO 转 PCIe 插槽”。但视频里专门解释了一个细节为什么这个转接方案看起来不像平常那种很小、很简单的转板原因很简单这是给 Gen6 / Gen5 高速测试用的不是低速转接小板。如果只是一个裸露的小转板客户在桌面上测试时还要自己想办法解决很多问题工程卡怎么固定 散热怎么做 风扇放哪里 显卡或者高功耗 AIC 怎么供电 线缆怎么走 Gen6 信号质量能不能保证 高8Lane、低8Lane会不会接反所以这次演示的 MCIO to AIC Adapter 实际上不是一个孤立小板而是一个集成化测试工具。它把三件事放到了一起转接 散热 供电。这也是它最有价值的地方。四、为什么 Gen6 测试特别需要关注散热在视频里讲解者特别提到这套转接方案上设计了两个系统风扇。平时正式使用时转接板不是完全裸露状态而是会有外壳或者盖板。视频为了方便展示所以把结构打开让大家看内部。当系统开机以后散热风扇会自动启动。由于整体结构相对封闭风扇会把内部热空气抽出去形成类似电脑机箱里的风道。这个设计看起来不起眼但对 PCIe Gen5 / Gen6 工程测试非常重要。因为客户拿来测试的 AIC 板卡很可能不是成熟量产卡而是工程样卡、EVB、验证板、GPU 卡或者其它高性能 endpoint。这些板卡在实验室环境里测试时往往不像服务器机箱里那样有完整风道。如果只是把一张高功耗卡随手插在裸板上旁边放一个小风扇吹短时间能跑不代表长时间稳定。尤其到了 PCIe Gen6测试过程中可能要做长时间 link training 高速数据压力 多次 reset 多轮枚举 高温环境验证 不同 endpoint 的兼容性测试 链路边界条件测试。这时候温度一旦失控很容易把问题搞混。你以为是 Switch 逻辑问题实际可能是 AIC 太热。 你以为是线缆问题实际可能是芯片温度上来以后信号 margin 变差。 你以为是 endpoint firmware 不稳定实际可能只是散热不够。所以Gen6 测试里散热不是“锦上添花”而是基础条件。五、供电为什么也要集成进去视频中第二个重点是供电。这套 MCIO to AIC Adapter 后面提供了多种供电接口。其中包括给风扇使用的电源线 两个白色的 44 形式 8-pin 供电口 一个面向新一代显卡/高功耗设备的 PCIe 5.1 供电口 底部还集成了类似服务器 CRPS 电源的供电方案。为什么要做得这么复杂因为客户测试的 AIC 板卡不一定都是低功耗设备。如果是一张普通 endpoint 小卡可能 PCIe slot 供电已经够用。 但如果是 GPU、AI 加速卡、高性能 FPGA 卡或者某些自研工程卡单靠插槽供电可能根本不够。这时候客户通常会遇到很多麻烦外部电源怎么接 显卡辅助供电用哪个接口 老显卡和新显卡接口不一样怎么办 工程卡需要额外 8-pin 供电怎么办 风扇和板卡供电是否共地 供电线悬在桌面上安全吗 频繁测试时会不会接错这套转接方案把供电接口集成进去就是为了降低客户搭环境的门槛。如果客户测试的是这两年的新显卡可能会用到 PCIe 5.1 供电接口就可以从这个接口引电。 如果客户测试的是前几年的显卡或者工程卡需要传统 44 8-pin 供电就可以使用后面两个白色供电口。 如果整个系统需要稳定供电则底部 CRPS 服务器电源可以提供更标准化的供电来源。这样客户不用再临时找电源、剪线、焊线、外接一堆不稳定的供电模块。对于实验室测试来说这一点非常重要。高速链路问题已经够复杂了不应该再让供电方案变成新的变量。六、这套方案适合测什么这套 Gen6 Switch MCIO to AIC Adapter 的组合最适合的不是普通办公室场景而是研发验证和实验室测试场景。典型用途包括测试 PCIe Gen5 / Gen6 AIC endpoint 测试 GPU、FPGA、DPU、NIC、SSD adapter 等板卡 验证两个 MCIO x8 合成 PCIe x16 的链路训练 验证 Switch 下挂多个 endpoint 时的拓扑和枚举 测试不同 AIC 板卡在 Gen6 Switch 后面的兼容性 做多卡测试平台搭建 把 MCIO 线缆形态转换成传统 PCIe 插槽形态 在开放式测试环境里提供更可靠的供电和散热。它解决的是一个很实际的问题Switch 卡本身有很多 MCIO 口但客户手里的设备经常是 PCIe AIC 板卡。 两者之间如果没有合适的转接方案就很难把测试环境快速搭起来。普通小转板可以解决“能不能插上”的问题。 但这套集成化转接工具解决的是“能不能稳定、长时间、可重复地测试”的问题。这才是它和普通转接板的区别。七、Gen6 信号质量不能随便凑视频里还有一句很关键的话这个转板本身是 Gen6 信号质量的。这句话很重要。PCIe Gen6 是 64GT/s 的高速接口链路对损耗、反射、串扰、阻抗连续性、连接器、线缆、板材、走线、过孔、retimer 或 redriver 配置都非常敏感。在这种速度下转接板不是“铜皮连一下就行”。一个不合格的转接板可能在 Gen3/Gen4 下看不出问题到了 Gen5/Gen6 就开始暴露link 不起来 只能降速 只能降宽 偶发 retrain 压力测试掉链路 插不同卡表现不一致 换一根 cable 情况又变化。所以做 Gen6 测试时转接板本身必须作为高速链路的一部分来设计而不是把它看成无关紧要的机械转接件。这次演示里的 MCIO to AIC Adapter就是作为 Gen6 Switch 卡的配套工具来使用。它的价值不只是“形态转换”而是让整个链路从 Switch MCIO 到 AIC 插槽之间仍然尽量保持 Gen6 级别的信号质量。对于客户来说这一点很关键。因为如果测试环境本身不稳定客户就无法判断问题到底来自哪里是被测 AIC 卡的问题 是 Switch 卡的问题 是 MCIO 线缆的问题 是转接板的问题 是供电问题 还是散热问题一个好的测试夹具首先要把自己变成“尽量不是问题来源”的那一环。八、最容易出错的地方高 8 Lane 和低 8 Lane 不能接反视频最后重点提醒了一个非常具体、但非常容易犯错的问题两个 MCIO x8 合成一个 x16 时必须注意高 8 Lane 和低 8 Lane 的顺序。PCIe x16 可以理解成 16 条 lane。 当它通过两个 MCIO x8 来实现时其中一组对应低 8 lane另一组对应高 8 lane。如果把低 8 lane 接到了高 8 lane 的位置或者把高 8 lane 接到了低 8 lane 的位置链路就可能 link 不起来。这不是软件配置能随便修好的问题。它就像把一条 16 车道高速公路拆成左右两段运输到目的地时必须按原来的顺序拼回去。 如果左半边和右半边接反车道编号乱了系统自然无法正常通车。视频里演示者还顺着线缆给大家理了一遍一根线接到右边 MCIO 口对应高 8 lane 另一根线顺着过来接到下面接口对应低 8 lane 实际交付时会尽量帮客户贴好标识避免混淆。这个细节看似很小但在实验室现场非常关键。很多 PCIe 测试环境搭不起来最后不是 Switch 不支持也不是 AIC 有问题而是线缆顺序接错了。尤其是两个 MCIO x8 合成一个 x16 的环境里如果没有明确标识客户很容易在多根线之间接混。所以建议实际使用时一定要做到线缆两端贴标签 明确标注 high 8 lane 和 low 8 lane MCIO 端口编号要和转接板端口编号对应 每次换线或换卡后先检查 lane 顺序 如果 link 不起来第一步先排查线缆顺序和插接方向。这是最朴素、但也最有效的工程经验。九、这次演示真正想说明什么从时间顺序看这个视频表面上是在介绍一块 MCIO to AIC Adapter。但它真正传递的是一套完整的 Gen6 AIC 测试思路。第一步先明确单卡测试可以直接插槽连接。 如果只测一张 AIC直接使用 Switch 卡上的 PCIe 插槽是最简单方式。第二步当需要多卡测试时就要用 MCIO 口。 因为 Switch 卡上的 MCIO x8 接口可以把 lane 引出来为多 endpoint 拓扑提供扩展能力。第三步两个 MCIO x8 可以组合成一个 PCIe x16。 这让客户可以测试 x16 AIC 板卡而不是只能测 x8 设备。第四步需要一块专门的 MCIO to AIC Adapter。 这块转接工具把两个 MCIO x8 转成一个标准 PCIe x16 插槽让 AIC 板卡可以直接插入。第五步Gen6 环境不能只靠普通小转板。 因为高速测试还要同时考虑信号质量、散热和供电。第六步供电和散热必须集成考虑。 系统风扇、PCIe 5.1 供电、44 8-pin 供电、CRPS 电源这些设计都是为了让客户不用自己临时拼装一个不稳定环境。第七步lane 顺序必须接对。 高 8 lane 和低 8 lane 一旦接反链路可能直接起不来。这就是这段演示视频最有价值的地方。它不是在简单告诉你“这里有一块转接板”而是在告诉你PCIe Gen6 多卡测试不是只解决插槽数量而是要把拓扑、线缆、转接、供电、散热、信号质量和 lane 顺序全部放在一起考虑。十、为什么这种工具对客户有价值很多客户搭 PCIe Gen5/Gen6 测试环境时最头疼的不是理论而是现场。理论上两个 x8 可以合成 x16。 理论上MCIO 可以引出 PCIe lane。 理论上AIC 卡可以插在转接板上。 理论上显卡可以单独接电源。 理论上风扇吹一下就行。但工程现场最怕“理论上”。真正测试时只要一个环节没有处理好结果就会很混乱供电不稳链路掉。 散热不好跑一会儿出错。 转接板质量不够Gen6 起不来。 线缆顺序接反完全 link 不起来。 工程卡固定不好接触不稳定。 外接电源线太乱测试人员不敢长期跑。这种时候一个集成化工具的价值就体现出来了。它不是只帮客户省一块板而是帮客户省掉大量调试时间。客户可以更快把注意力放回真正要测的东西AIC 板卡本身是否正常 PCIe Gen6 link 是否稳定 Switch 拓扑是否符合预期 多 endpoint 枚举是否成功 不同卡之间是否兼容 高负载下链路是否有错误 换不同设备时测试结果是否可重复。测试工具最大的价值不是让环境看起来更复杂而是让环境更可靠、更清晰、更可控。十一、最后一句话Gen6 测试别只看“能不能插上”PCIe Gen6 已经不是低速接口时代。到了这个速度任何一个看似不起眼的环节都可能变成问题来源MCIO 线缆 AIC 转接板 PCIe 插槽 供电接口 散热风道 lane 顺序 连接器接触 板级信号完整性。所以做 Gen6 Switch 多卡测试时不能只问“有没有一个转接板”更应该问这个转接板是不是 Gen6 信号质量 两个 MCIO x8 能不能正确合成 x16 高 8 lane 和低 8 lane 有没有标清楚 AIC 卡供电怎么解决 显卡或工程卡散热怎么解决 长期跑压力测试时环境是否稳定 换不同卡、不同线、不同端口结果是否可重复这次演示的 Gen6 Switch MCIO to AIC Adapter就是围绕这些真实问题设计出来的。它把 MCIO 转 PCIe 插槽这件事从一个简单机械转接变成了一套面向 Gen5/Gen6 高速测试的完整工程方案。对于客户来说这才是最重要的不是把卡插上就完了。 而是插上以后能稳定 link能长期跑能方便供电能有效散热能减少误接线能让问题定位回到被测设备本身。一句话总结Gen6 Switch 多卡测试关键不只是多几个接口而是要让每一条 lane、每一根线、每一个供电和每一股风都在正确的位置上工作。