尧图网页设计 
简介IEEE Std 802.3cm-2020 是 IEEE 发布的以太网修订标准全称为《IEEE Standard for Ethernet Amendment 7: Physical Layer and Management Parameters for 400 Gb/s over Multimode Fiber》面向光通信工程师、数据中心网络架构师及 400G 光模块研发人员。该标准在 IEEE Std 802.3-2018 基础上整合 802.3cb、bt、cd、cn、cg、cq 等多项修正案新增 Clause 150定义了 400GBASE-SR8 与 400GBASE-SR4.2 两种多模光纤接口覆盖至少 100 米的传输距离是开发 400G 光通信产品的重要依据。资源包为 1 个 PDF 文件大小约 1.44MB内容涵盖物理层规范、信号编码与调制、光模块接口、光功率预算、连接器与光纤类型以及管理参数、FEC、PCS/PMA/PMD 子层等关键技术细节。目前已有 683 人学习下载适合需要深入理解 400G 多模光纤以太网标准、进行产品设计与网络升级的读者参考。1. 400G 多模光纤上跑 100 米802.3cm-2020 到底补了哪块短板数据中心机房里TOR 交换机到核心交换机那一段多模光纤过去几年一直卡在 100G 到 400G 的过渡上。IEEE Std 802.3cm-2020 就是冲着这个缺口来的它在 802.3 体系里新增了基于多模光纤的 400Gb/s 物理层规范把 400G 短距互连从「只能靠单模或并行单模」拉回到「多模也能干」的轨道上。如果你正在做数据中心布线选型、光模块兼容性验证或者被 400G 上多模到底能跑多远这个问题卡过这份标准就是你要翻的那一页。它不解决协议栈上层的事只管物理层——但物理层选错上层再优化也是白搭。标准本身不厚但落地时真正让人头疼的是400G 多模到底用几根纤、每根跑多少速率、FEC 怎么配、和已有 100G 多模链路能不能共存。这些问题在 802.3cm 里都有对应条款但条款是写给芯片和模块厂看的做系统集成和运维的人直接读会绕。下面按「标准说了什么 → 怎么落到模块和链路 → 实测和排错怎么做」的顺序拆开讲中间会给出可复现的验证步骤和参数表最后收在几个只有实际调过链路才会知道的技巧上。2. 802.3cm 的物理层账本400G 多模靠什么跑起来2.1 从 400GBASE-SR8 到 400GBASE-SR4.2两条技术路线的取舍802.3cm-2020 里跟多模直接相关的两个物理层类型是 400GBASE-SR8 和 400GBASE-SR4.2。名字里的数字不是随便写的SR8 表示 8 对光纤、每对 50Gb/sSR4.2 表示 4 对光纤、每对 100Gb/s但每对里用了两个波长。这两种方案对应的是不同阶段的光模块生态。SR8 的思路最直接既然 100G 多模100GBASE-SR4是 4 对 × 25Gb/s那 400G 就翻倍到 8 对 × 50Gb/s。好处是光纤数量翻倍但每通道速率不变激光器和探测器可以用比较成熟的 25G 器件做波分复用或者直接 50G 调制。坏处也明显MPO 连接器从 12 芯变成 16 芯甚至 24 芯布线密度和极性管理复杂度直接上一个台阶。SR4.2 走的是另一条路不增加光纤对数而是在每对光纤上跑两个波长每个波长 50Gb/s合起来 100Gb/s。这样 4 对光纤就能凑出 400GMPO-12 连接器还能继续用。代价是光模块里要多一套波分复用/解复用器件模块功耗和成本在早期会更高。从实际部署看SR4.2 对已有 MPO-12 布线更友好机房改造量小所以新建 400G 多模链路时选 SR4.2 的比例在上升。选型时不要只看标准里的标称距离。802.3cm 给的是基于特定光纤类型OM3/OM4/OM5和特定连接器损耗预算下的保证距离。实际能跑多远取决于你用的光纤批次、连接器清洁度、跳线数量、甚至弯折半径。标准里的数字是底线不是目标。2.2 光纤类型和距离预算OM3、OM4、OM5 在 400G 下的真实表现802.3cm 对多模光纤的支撑集中在 OM3、OM4、OM5 三类。OM3 是最老的带宽在 850nm 窗口约 2000 MHz·kmOM4 提升到 4700 MHz·kmOM5 在 850nm 附近增加了宽带特性支持短波分复用。在 400G 速率下模式色散和色度色散的影响被放大光纤带宽直接决定可达距离。标准里给出的目标距离大致是400GBASE-SR8 在 OM4 上 100 米OM3 上 70 米400GBASE-SR4.2 在 OM4 上 100 米OM5 上 150 米。注意 SR4.2 在 OM5 上能到 150 米是因为 OM5 的宽带特性让两个波长都能落在低色散窗口里。如果你机房里有 OM3 存量光纤想跑 400G距离预算要压到 70 米以内而且必须确认整条链路没有劣质跳线。实际做链路预算时我一般会留 20% 余量。比如标准说 OM4 跑 100 米那设计时就按 80 米规划剩下的余量用来吸收连接器老化、灰尘和弯折带来的额外损耗。多模链路对连接器端面清洁度极其敏感一颗灰尘就能让 400G 链路从稳定变成间歇性误码。2.3 FEC 和误码率400G 多模为什么离不开 RS-FEC400G 多模物理层用了强力的 RS-FECReed-Solomon 前向纠错这是 802.3cm 里容易被忽略但影响最大的部分。50Gb/s 每通道的符号率下多模光纤的模态噪声和码间干扰会让原始误码率BER落在 1e-5 到 1e-8 量级不加 FEC 根本达不到链路要求的 1e-15 量级。802.3cm 沿用了 802.3bs 里定义的 RS(544,514) FEC也就是每个码字 544 个符号里 514 个是数据符号30 个是校验符号。这个 FEC 能纠正一定数量的符号错误把上层看到的 BER 拉到可接受范围。但 FEC 不是免费的它引入额外延迟而且如果原始 BER 太差FEC 纠不过来链路会直接报 FEC 不可纠正错误。调试时如果看到链路频繁 up/down 或者误码计数增长先看 FEC 统计。很多交换机和光模块支持读取 FEC 纠正前和纠正后的误码计数。纠正前误码高但纠正后为零说明链路在边缘工作需要查清洁度或换跳线纠正后仍有误码说明链路预算已经击穿得缩短距离或换光纤类型。3. 把 400G 多模链路跑起来模块、跳线、交换机配置3.1 光模块选型QSFP-DD、OSFP 和 400G 多模的对应关系400G 多模光模块主流封装是 QSFP-DD 和 OSFP。QSFP-DD 向后兼容 QSFP在已有 QSFP 端口上可以通过适配器或直接插如果端口支持使用OSFP 体积稍大散热更好适合高密度场景。选哪个封装取决于交换机端口类型不是标准强制。模块类型上400GBASE-SR8 对应 8 通道 50G 电口通常用 QSFP-DD 或 OSFP 封装光口是 MPO-16 或 MPO-24。400GBASE-SR4.2 对应 4 通道 100G 电口光口是 MPO-12。买模块时要确认光口极性MPO-12 有直通和交叉两种接反了链路不通。下面是一个用 ethtool 查看光模块类型和链路状态的例子适用于 Linux 服务器上插了 400G 网卡的场景# 查看网卡和光模块基本信息 ethtool -m eth0 # 输出里关注这几行 # Identifier : QSFP-DD or OSFP # Vendor name : 模块厂商 # Vendor PN : 模块型号 # Wavelength : 850nm 或双波长 # Link length : 100m 等 # 查看链路状态和速率 ethtool eth0 # 关注 Speed、Duplex、Link detected # 400G 多模链路正常时 Speed 显示 400000Mb/s逻辑说明ethtool -m读的是模块内部的 EEPROM 信息能确认模块是不是多模类型、波长对不对。ethtool eth0看的是当前协商结果。如果 Speed 显示 100000Mb/s 而不是 400000说明链路没协商到 400G可能是模块不匹配、跳线极性错或者 FEC 没配。参数说明不同厂商的网卡驱动对ethtool -m支持程度不一样有些需要更新驱动才能读出完整信息。如果读不到先确认网卡固件和驱动版本。3.2 MPO 跳线极性和长度400G 多模最容易翻车的地方MPO 跳线极性是 400G 多模部署里血泪经验最多的地方。MPO-12 有 A 型直通、B 型交叉、C 型成对交叉三种极性。400GBASE-SR4.2 用 MPO-12通常要求 B 型极性让发送端 TX 对准接收端 RX。如果用了 A 型链路不通或者只有部分通道通。检查极性最直接的办法是用 MPO 极性测试仪或者用光功率计逐芯测。没有工具时可以看跳线两端的键位方向B 型跳线两端键位在同一侧时纤芯顺序是交叉的。更稳妥的做法是采购时明确标注极性并在标签上写清楚。长度方面400G 多模跳线不要随意盘绕。多模光纤的弯折半径如果小于 30mm会引入额外损耗。机柜内走线时用理线架避免跳线被门夹住或者压在设备下面。我见过一次链路间歇性误码最后发现是跳线在机柜角落被压出一个死弯换跳线后立刻恢复。3.3 交换机侧配置FEC 模式、速率协商和端口拆分交换机侧配置因厂商而异但核心参数就几个FEC 模式、速率、端口拆分。400G 多模链路通常要求 RS-FEC有些交换机默认开启有些需要手动配。如果 FEC 模式不匹配链路会起不来或者误码率高。以常见的数据中心交换机 CLI 为例配置逻辑如下# 进入端口配置模式 interface Ethernet1/1 # 设置速率 400G speed 400000 # 设置 FEC 模式为 RS-FEC fec rs # 如果端口支持拆分确认拆分模式 # 400G 拆成 4x100G 时多模链路要对应 SR4.2 或 SR8 的通道映射 breakout 4x100G # 保存配置 commit逻辑说明speed 400000强制端口速率避免自动协商到低速率。fec rs指定 Reed-Solomon FEC和 802.3cm 要求一致。breakout用于把 400G 端口拆成多个 100G拆分后每个子端口对应模块里的不同通道跳线极性要按拆分后的映射检查。参数说明不同厂商命令不同有的用fec cl91或fec rs544。关键是确认 FEC 类型和标准一致。如果交换机不支持手动配 FEC查文档确认默认值。端口拆分后子端口的编号和物理通道对应关系要看厂商文档接错跳线会导致部分子端口不通。4. 400G 多模链路排错从 FEC 计数到光功率的排查顺序4.1 先看 FEC 统计再看光功率链路出问题时排查顺序很重要。我一般先看 FEC 纠正前和纠正后的误码计数再看光功率。因为 FEC 计数能直接告诉你链路是在「勉强工作」还是「已经击穿」。如果纠正前误码高但纠正后为零说明链路还有救清洁或换跳线可能解决如果纠正后误码持续增长光功率大概率已经不够。读取 FEC 计数的方法因平台而异。Linux 下可以用ethtool -S eth0看统计有些驱动会暴露fec_corrected_errors和fec_uncorrected_errors。交换机上通常有show interface counters fec之类的命令。# Linux 下查看 FEC 相关统计 ethtool -S eth0 | grep -i fec # 输出示例 # fec_corrected_errors: 12345 # fec_uncorrected_errors: 0 # 如果 uncorrected 持续增长链路有问题逻辑说明fec_corrected_errors是 FEC 纠正过来的错误数有一定数值是正常的说明链路在纠错能力范围内。fec_uncorrected_errors是纠不过来的错误任何非零增长都意味着链路质量不达标。参数说明不同驱动统计项名称不同有的叫rx_fec_corrected。如果ethtool -S看不到查网卡厂商文档或者用厂商专用工具。4.2 光功率测量多模 400G 的接收功率窗口很窄400G 多模的接收光功率窗口比 100G 窄。标准里给的灵敏度指标是在特定 BER 下的最小值实际模块的接收功率范围可能只有几 dB。光功率太低会导致误码太高会饱和同样误码。测光功率要用多模光功率计波长设到 850nm。测量点包括发送端和接收端。发送端功率应该在模块规格范围内接收端功率要落在模块的接收灵敏度以上、饱和点以下。如果接收功率偏低先清洁连接器再检查跳线弯折最后考虑缩短距离或换 OM5 光纤。提示多模连接器清洁要用专用清洁笔不要用棉签或纸巾。一颗灰尘在 400G 速率下足以让链路误码率上升几个数量级。4.3 用误码测试仪做端到端验证如果条件允许用误码测试仪BERT做端到端验证是最可靠的。BERT 可以发送特定码型测量实际 BER并验证 FEC 是否按预期工作。测试时把 BERT 接在链路两端跑一段时间看 BER 是否在标准要求的范围内。没有 BERT 时可以用流量测试代替。用两台服务器通过 400G 多模链路对打流量跑 iperf3 或类似工具观察是否有丢包或重传。但流量测试对误码的敏感度不如 BERT低速率误码可能被 TCP 重传掩盖。5. 避坑与常见问题400G 多模部署里那些没人提前告诉你的事5.1 链路能 up 但跑不满速现象端口显示 Link up但实际吞吐只有 100G 或 200G或者 iperf3 打流上不去。原因最常见的是端口拆分配置和模块通道映射不匹配。比如 400G 模块拆成 4x100G但跳线只接了其中两对光纤或者交换机拆分模式和模块通道顺序对不上。另一种可能是 FEC 模式不匹配链路协商到了低速率。解决先确认模块类型和拆分模式是否匹配。用ethtool -m看模块通道数用交换机命令看拆分配置。然后检查跳线是否每对光纤都接通。最后确认 FEC 模式一致。5.2 FEC 纠正前误码高但纠正后为零链路却偶尔闪断现象FEC 统计里 corrected errors 很高uncorrected 为零但链路每隔几小时闪断一次。原因链路在 FEC 纠错能力的边缘工作。纠正前误码接近 FEC 上限偶尔突发噪声让误码超过纠错能力导致瞬间 uncorrected 错误链路重新协商。解决查连接器清洁度换跳线缩短距离。如果用的是 OM3 光纤跑 100 米考虑换 OM4 或 OM5。检查机柜内跳线是否被挤压或弯折。5.3 新模块插上后端口不亮现象新买的 400G 多模模块插上交换机端口完全不亮ethtool看不到链路。原因模块封装不兼容比如 OSFP 插到 QSFP-DD 端口或者模块固件版本和交换机不匹配或者端口没使能。解决确认封装类型和端口匹配。查交换机文档确认支持的模块列表。用ethtool -m看模块是否能被识别。如果识别不到换端口或更新交换机固件。5.4 多模链路跑 400G 距离达不到标称值现象标准说 OM4 能跑 100 米实际 80 米就误码。原因光纤批次差异、连接器损耗、跳线数量多、清洁度差。标准里的距离是在理想条件下测的实际链路有多个连接点每个连接点都有损耗。解决做链路预算时留余量。用 OTDR 或光功率计测整条链路损耗。减少跳线数量清洁所有连接器。如果还是不够换 OM5 或缩短距离。5.5 交换机显示 FEC 不可用现象配置 FEC 时报错或者链路起来后 FEC 统计读不到。原因交换机或模块不支持 RS-FEC或者 FEC 模式配置错误。有些老交换机只支持 FC-FEC 不支持 RS-FEC。解决查交换机规格确认支持 RS-FEC。如果模块不支持换模块。如果交换机不支持考虑升级固件或换端口。6. 把 400G 多模链路验证做扎实一个可复现的检查清单实际部署时我习惯在链路正式上线前跑一遍检查清单把能提前发现的问题都拦在业务上线之前。这个清单不复杂但能省掉很多半夜被叫起来排错的麻烦。第一步确认物理层匹配。模块类型、光纤类型、跳线极性、连接器类型这四项必须一一对应。400GBASE-SR4.2 用 MPO-12 B 型极性跳线OM4 或 OM5 光纤模块封装和交换机端口一致。这一步用表格核对最清楚检查项400GBASE-SR8400GBASE-SR4.2光纤对数8 对4 对每对速率50Gb/s100Gb/s双波长连接器MPO-16 或 MPO-24MPO-12极性按厂商映射B 型OM4 距离100m100mOM5 距离100m150m第二步清洁所有连接器并测光功率。发送端和接收端都测记录数值。接收功率要落在模块规格的接收窗口内留至少 3dB 余量。第三步配置交换机端口。速率、FEC、拆分模式按规划配好确认没有报错。第四步读 FEC 统计基线。链路刚起来时记录 corrected 和 uncorrected 计数跑 10 分钟再看。如果 corrected 增长很快说明链路质量一般需要优化。第五步打流测试。用 iperf3 跑满 400G 流量至少 10 分钟观察是否有丢包、重传、FEC uncorrected 增长。第六步做一次插拔和弯折测试。轻轻弯折跳线看 FEC 计数是否突变。如果弯折就误码说明跳线质量或布线路径有问题。这套流程跑下来基本能把 400G 多模链路的常见问题覆盖掉。我自己的习惯是每次新链路部署都跑一遍哪怕看起来一切正常。因为多模链路的玄学在于它可能今天正常明天机房空调风向变了、温度变了误码就上来了。提前把余量留足比事后救火划算得多。希望帮到你。本文还有配套的精品资源点击获取 IEEE 802.3cm-2020 解读：400G 多模光纤 100 米链路部署与排错指南
简介IEEE Std 802.3cm-2020 是 IEEE 发布的以太网修订标准全称为《IEEE Standard for Ethernet Amendment 7: Physical Layer and Management Parameters for 400 Gb/s over Multimode Fiber》面向光通信工程师、数据中心网络架构师及 400G 光模块研发人员。该标准在 IEEE Std 802.3-2018 基础上整合 802.3cb、bt、cd、cn、cg、cq 等多项修正案新增 Clause 150定义了 400GBASE-SR8 与 400GBASE-SR4.2 两种多模光纤接口覆盖至少 100 米的传输距离是开发 400G 光通信产品的重要依据。资源包为 1 个 PDF 文件大小约 1.44MB内容涵盖物理层规范、信号编码与调制、光模块接口、光功率预算、连接器与光纤类型以及管理参数、FEC、PCS/PMA/PMD 子层等关键技术细节。目前已有 683 人学习下载适合需要深入理解 400G 多模光纤以太网标准、进行产品设计与网络升级的读者参考。1. 400G 多模光纤上跑 100 米802.3cm-2020 到底补了哪块短板数据中心机房里TOR 交换机到核心交换机那一段多模光纤过去几年一直卡在 100G 到 400G 的过渡上。IEEE Std 802.3cm-2020 就是冲着这个缺口来的它在 802.3 体系里新增了基于多模光纤的 400Gb/s 物理层规范把 400G 短距互连从「只能靠单模或并行单模」拉回到「多模也能干」的轨道上。如果你正在做数据中心布线选型、光模块兼容性验证或者被 400G 上多模到底能跑多远这个问题卡过这份标准就是你要翻的那一页。它不解决协议栈上层的事只管物理层——但物理层选错上层再优化也是白搭。标准本身不厚但落地时真正让人头疼的是400G 多模到底用几根纤、每根跑多少速率、FEC 怎么配、和已有 100G 多模链路能不能共存。这些问题在 802.3cm 里都有对应条款但条款是写给芯片和模块厂看的做系统集成和运维的人直接读会绕。下面按「标准说了什么 → 怎么落到模块和链路 → 实测和排错怎么做」的顺序拆开讲中间会给出可复现的验证步骤和参数表最后收在几个只有实际调过链路才会知道的技巧上。2. 802.3cm 的物理层账本400G 多模靠什么跑起来2.1 从 400GBASE-SR8 到 400GBASE-SR4.2两条技术路线的取舍802.3cm-2020 里跟多模直接相关的两个物理层类型是 400GBASE-SR8 和 400GBASE-SR4.2。名字里的数字不是随便写的SR8 表示 8 对光纤、每对 50Gb/sSR4.2 表示 4 对光纤、每对 100Gb/s但每对里用了两个波长。这两种方案对应的是不同阶段的光模块生态。SR8 的思路最直接既然 100G 多模100GBASE-SR4是 4 对 × 25Gb/s那 400G 就翻倍到 8 对 × 50Gb/s。好处是光纤数量翻倍但每通道速率不变激光器和探测器可以用比较成熟的 25G 器件做波分复用或者直接 50G 调制。坏处也明显MPO 连接器从 12 芯变成 16 芯甚至 24 芯布线密度和极性管理复杂度直接上一个台阶。SR4.2 走的是另一条路不增加光纤对数而是在每对光纤上跑两个波长每个波长 50Gb/s合起来 100Gb/s。这样 4 对光纤就能凑出 400GMPO-12 连接器还能继续用。代价是光模块里要多一套波分复用/解复用器件模块功耗和成本在早期会更高。从实际部署看SR4.2 对已有 MPO-12 布线更友好机房改造量小所以新建 400G 多模链路时选 SR4.2 的比例在上升。选型时不要只看标准里的标称距离。802.3cm 给的是基于特定光纤类型OM3/OM4/OM5和特定连接器损耗预算下的保证距离。实际能跑多远取决于你用的光纤批次、连接器清洁度、跳线数量、甚至弯折半径。标准里的数字是底线不是目标。2.2 光纤类型和距离预算OM3、OM4、OM5 在 400G 下的真实表现802.3cm 对多模光纤的支撑集中在 OM3、OM4、OM5 三类。OM3 是最老的带宽在 850nm 窗口约 2000 MHz·kmOM4 提升到 4700 MHz·kmOM5 在 850nm 附近增加了宽带特性支持短波分复用。在 400G 速率下模式色散和色度色散的影响被放大光纤带宽直接决定可达距离。标准里给出的目标距离大致是400GBASE-SR8 在 OM4 上 100 米OM3 上 70 米400GBASE-SR4.2 在 OM4 上 100 米OM5 上 150 米。注意 SR4.2 在 OM5 上能到 150 米是因为 OM5 的宽带特性让两个波长都能落在低色散窗口里。如果你机房里有 OM3 存量光纤想跑 400G距离预算要压到 70 米以内而且必须确认整条链路没有劣质跳线。实际做链路预算时我一般会留 20% 余量。比如标准说 OM4 跑 100 米那设计时就按 80 米规划剩下的余量用来吸收连接器老化、灰尘和弯折带来的额外损耗。多模链路对连接器端面清洁度极其敏感一颗灰尘就能让 400G 链路从稳定变成间歇性误码。2.3 FEC 和误码率400G 多模为什么离不开 RS-FEC400G 多模物理层用了强力的 RS-FECReed-Solomon 前向纠错这是 802.3cm 里容易被忽略但影响最大的部分。50Gb/s 每通道的符号率下多模光纤的模态噪声和码间干扰会让原始误码率BER落在 1e-5 到 1e-8 量级不加 FEC 根本达不到链路要求的 1e-15 量级。802.3cm 沿用了 802.3bs 里定义的 RS(544,514) FEC也就是每个码字 544 个符号里 514 个是数据符号30 个是校验符号。这个 FEC 能纠正一定数量的符号错误把上层看到的 BER 拉到可接受范围。但 FEC 不是免费的它引入额外延迟而且如果原始 BER 太差FEC 纠不过来链路会直接报 FEC 不可纠正错误。调试时如果看到链路频繁 up/down 或者误码计数增长先看 FEC 统计。很多交换机和光模块支持读取 FEC 纠正前和纠正后的误码计数。纠正前误码高但纠正后为零说明链路在边缘工作需要查清洁度或换跳线纠正后仍有误码说明链路预算已经击穿得缩短距离或换光纤类型。3. 把 400G 多模链路跑起来模块、跳线、交换机配置3.1 光模块选型QSFP-DD、OSFP 和 400G 多模的对应关系400G 多模光模块主流封装是 QSFP-DD 和 OSFP。QSFP-DD 向后兼容 QSFP在已有 QSFP 端口上可以通过适配器或直接插如果端口支持使用OSFP 体积稍大散热更好适合高密度场景。选哪个封装取决于交换机端口类型不是标准强制。模块类型上400GBASE-SR8 对应 8 通道 50G 电口通常用 QSFP-DD 或 OSFP 封装光口是 MPO-16 或 MPO-24。400GBASE-SR4.2 对应 4 通道 100G 电口光口是 MPO-12。买模块时要确认光口极性MPO-12 有直通和交叉两种接反了链路不通。下面是一个用 ethtool 查看光模块类型和链路状态的例子适用于 Linux 服务器上插了 400G 网卡的场景# 查看网卡和光模块基本信息 ethtool -m eth0 # 输出里关注这几行 # Identifier : QSFP-DD or OSFP # Vendor name : 模块厂商 # Vendor PN : 模块型号 # Wavelength : 850nm 或双波长 # Link length : 100m 等 # 查看链路状态和速率 ethtool eth0 # 关注 Speed、Duplex、Link detected # 400G 多模链路正常时 Speed 显示 400000Mb/s逻辑说明ethtool -m读的是模块内部的 EEPROM 信息能确认模块是不是多模类型、波长对不对。ethtool eth0看的是当前协商结果。如果 Speed 显示 100000Mb/s 而不是 400000说明链路没协商到 400G可能是模块不匹配、跳线极性错或者 FEC 没配。参数说明不同厂商的网卡驱动对ethtool -m支持程度不一样有些需要更新驱动才能读出完整信息。如果读不到先确认网卡固件和驱动版本。3.2 MPO 跳线极性和长度400G 多模最容易翻车的地方MPO 跳线极性是 400G 多模部署里血泪经验最多的地方。MPO-12 有 A 型直通、B 型交叉、C 型成对交叉三种极性。400GBASE-SR4.2 用 MPO-12通常要求 B 型极性让发送端 TX 对准接收端 RX。如果用了 A 型链路不通或者只有部分通道通。检查极性最直接的办法是用 MPO 极性测试仪或者用光功率计逐芯测。没有工具时可以看跳线两端的键位方向B 型跳线两端键位在同一侧时纤芯顺序是交叉的。更稳妥的做法是采购时明确标注极性并在标签上写清楚。长度方面400G 多模跳线不要随意盘绕。多模光纤的弯折半径如果小于 30mm会引入额外损耗。机柜内走线时用理线架避免跳线被门夹住或者压在设备下面。我见过一次链路间歇性误码最后发现是跳线在机柜角落被压出一个死弯换跳线后立刻恢复。3.3 交换机侧配置FEC 模式、速率协商和端口拆分交换机侧配置因厂商而异但核心参数就几个FEC 模式、速率、端口拆分。400G 多模链路通常要求 RS-FEC有些交换机默认开启有些需要手动配。如果 FEC 模式不匹配链路会起不来或者误码率高。以常见的数据中心交换机 CLI 为例配置逻辑如下# 进入端口配置模式 interface Ethernet1/1 # 设置速率 400G speed 400000 # 设置 FEC 模式为 RS-FEC fec rs # 如果端口支持拆分确认拆分模式 # 400G 拆成 4x100G 时多模链路要对应 SR4.2 或 SR8 的通道映射 breakout 4x100G # 保存配置 commit逻辑说明speed 400000强制端口速率避免自动协商到低速率。fec rs指定 Reed-Solomon FEC和 802.3cm 要求一致。breakout用于把 400G 端口拆成多个 100G拆分后每个子端口对应模块里的不同通道跳线极性要按拆分后的映射检查。参数说明不同厂商命令不同有的用fec cl91或fec rs544。关键是确认 FEC 类型和标准一致。如果交换机不支持手动配 FEC查文档确认默认值。端口拆分后子端口的编号和物理通道对应关系要看厂商文档接错跳线会导致部分子端口不通。4. 400G 多模链路排错从 FEC 计数到光功率的排查顺序4.1 先看 FEC 统计再看光功率链路出问题时排查顺序很重要。我一般先看 FEC 纠正前和纠正后的误码计数再看光功率。因为 FEC 计数能直接告诉你链路是在「勉强工作」还是「已经击穿」。如果纠正前误码高但纠正后为零说明链路还有救清洁或换跳线可能解决如果纠正后误码持续增长光功率大概率已经不够。读取 FEC 计数的方法因平台而异。Linux 下可以用ethtool -S eth0看统计有些驱动会暴露fec_corrected_errors和fec_uncorrected_errors。交换机上通常有show interface counters fec之类的命令。# Linux 下查看 FEC 相关统计 ethtool -S eth0 | grep -i fec # 输出示例 # fec_corrected_errors: 12345 # fec_uncorrected_errors: 0 # 如果 uncorrected 持续增长链路有问题逻辑说明fec_corrected_errors是 FEC 纠正过来的错误数有一定数值是正常的说明链路在纠错能力范围内。fec_uncorrected_errors是纠不过来的错误任何非零增长都意味着链路质量不达标。参数说明不同驱动统计项名称不同有的叫rx_fec_corrected。如果ethtool -S看不到查网卡厂商文档或者用厂商专用工具。4.2 光功率测量多模 400G 的接收功率窗口很窄400G 多模的接收光功率窗口比 100G 窄。标准里给的灵敏度指标是在特定 BER 下的最小值实际模块的接收功率范围可能只有几 dB。光功率太低会导致误码太高会饱和同样误码。测光功率要用多模光功率计波长设到 850nm。测量点包括发送端和接收端。发送端功率应该在模块规格范围内接收端功率要落在模块的接收灵敏度以上、饱和点以下。如果接收功率偏低先清洁连接器再检查跳线弯折最后考虑缩短距离或换 OM5 光纤。提示多模连接器清洁要用专用清洁笔不要用棉签或纸巾。一颗灰尘在 400G 速率下足以让链路误码率上升几个数量级。4.3 用误码测试仪做端到端验证如果条件允许用误码测试仪BERT做端到端验证是最可靠的。BERT 可以发送特定码型测量实际 BER并验证 FEC 是否按预期工作。测试时把 BERT 接在链路两端跑一段时间看 BER 是否在标准要求的范围内。没有 BERT 时可以用流量测试代替。用两台服务器通过 400G 多模链路对打流量跑 iperf3 或类似工具观察是否有丢包或重传。但流量测试对误码的敏感度不如 BERT低速率误码可能被 TCP 重传掩盖。5. 避坑与常见问题400G 多模部署里那些没人提前告诉你的事5.1 链路能 up 但跑不满速现象端口显示 Link up但实际吞吐只有 100G 或 200G或者 iperf3 打流上不去。原因最常见的是端口拆分配置和模块通道映射不匹配。比如 400G 模块拆成 4x100G但跳线只接了其中两对光纤或者交换机拆分模式和模块通道顺序对不上。另一种可能是 FEC 模式不匹配链路协商到了低速率。解决先确认模块类型和拆分模式是否匹配。用ethtool -m看模块通道数用交换机命令看拆分配置。然后检查跳线是否每对光纤都接通。最后确认 FEC 模式一致。5.2 FEC 纠正前误码高但纠正后为零链路却偶尔闪断现象FEC 统计里 corrected errors 很高uncorrected 为零但链路每隔几小时闪断一次。原因链路在 FEC 纠错能力的边缘工作。纠正前误码接近 FEC 上限偶尔突发噪声让误码超过纠错能力导致瞬间 uncorrected 错误链路重新协商。解决查连接器清洁度换跳线缩短距离。如果用的是 OM3 光纤跑 100 米考虑换 OM4 或 OM5。检查机柜内跳线是否被挤压或弯折。5.3 新模块插上后端口不亮现象新买的 400G 多模模块插上交换机端口完全不亮ethtool看不到链路。原因模块封装不兼容比如 OSFP 插到 QSFP-DD 端口或者模块固件版本和交换机不匹配或者端口没使能。解决确认封装类型和端口匹配。查交换机文档确认支持的模块列表。用ethtool -m看模块是否能被识别。如果识别不到换端口或更新交换机固件。5.4 多模链路跑 400G 距离达不到标称值现象标准说 OM4 能跑 100 米实际 80 米就误码。原因光纤批次差异、连接器损耗、跳线数量多、清洁度差。标准里的距离是在理想条件下测的实际链路有多个连接点每个连接点都有损耗。解决做链路预算时留余量。用 OTDR 或光功率计测整条链路损耗。减少跳线数量清洁所有连接器。如果还是不够换 OM5 或缩短距离。5.5 交换机显示 FEC 不可用现象配置 FEC 时报错或者链路起来后 FEC 统计读不到。原因交换机或模块不支持 RS-FEC或者 FEC 模式配置错误。有些老交换机只支持 FC-FEC 不支持 RS-FEC。解决查交换机规格确认支持 RS-FEC。如果模块不支持换模块。如果交换机不支持考虑升级固件或换端口。6. 把 400G 多模链路验证做扎实一个可复现的检查清单实际部署时我习惯在链路正式上线前跑一遍检查清单把能提前发现的问题都拦在业务上线之前。这个清单不复杂但能省掉很多半夜被叫起来排错的麻烦。第一步确认物理层匹配。模块类型、光纤类型、跳线极性、连接器类型这四项必须一一对应。400GBASE-SR4.2 用 MPO-12 B 型极性跳线OM4 或 OM5 光纤模块封装和交换机端口一致。这一步用表格核对最清楚检查项400GBASE-SR8400GBASE-SR4.2光纤对数8 对4 对每对速率50Gb/s100Gb/s双波长连接器MPO-16 或 MPO-24MPO-12极性按厂商映射B 型OM4 距离100m100mOM5 距离100m150m第二步清洁所有连接器并测光功率。发送端和接收端都测记录数值。接收功率要落在模块规格的接收窗口内留至少 3dB 余量。第三步配置交换机端口。速率、FEC、拆分模式按规划配好确认没有报错。第四步读 FEC 统计基线。链路刚起来时记录 corrected 和 uncorrected 计数跑 10 分钟再看。如果 corrected 增长很快说明链路质量一般需要优化。第五步打流测试。用 iperf3 跑满 400G 流量至少 10 分钟观察是否有丢包、重传、FEC uncorrected 增长。第六步做一次插拔和弯折测试。轻轻弯折跳线看 FEC 计数是否突变。如果弯折就误码说明跳线质量或布线路径有问题。这套流程跑下来基本能把 400G 多模链路的常见问题覆盖掉。我自己的习惯是每次新链路部署都跑一遍哪怕看起来一切正常。因为多模链路的玄学在于它可能今天正常明天机房空调风向变了、温度变了误码就上来了。提前把余量留足比事后救火划算得多。希望帮到你。本文还有配套的精品资源点击获取