尧图网页设计 
简介提供一份电力变压器故障诊断技术的专业PDF文档基于深度神经网络DNN对溶解气体分析DGA数据进行挖掘实现故障自动分类与诊断面向电气工程、电力系统自动化及机器学习应用等领域的学习者和工程技术人员。文档完整阐述了DNN、DGA、杜瓦尔三角法、随机森林RFC、K最近邻KNN等核心方法并通过对比实验验证DNN在变压器故障诊断中具有更优的准确性有助于读者快速掌握智能诊断建模思路与实验设计方法。资源包体积1.05MB仅含1个PDF文件内容排版清晰适合查阅与打印目前已有162人浏览学习。如需深入了解基于DGA的变压器故障智能诊断或进行相关数据建模参考这份材料可直接提供方法原理、算法对比和实验结论节省文献检索与整理时间。1. 基于深度神经网络的电力变压器故障诊断不只看DGA趋势还要看怎么把模型落到运维里电力变压器是电网里最贵、最不能停的设备之一哪怕多停一小时损失都是六位数起步。传统上大家靠油中溶解气体分析DGA、三比值法和专家经验去判断故障但现场做过的人都知道三比值法编码缺失、边界模糊轻载、过热、受潮几种工况放在一起判据经常打架。深度神经网络这两年成了突破口——它能把高维特征自动抽出来绕开人工编码的主观性。这篇笔记聊的是基于深度神经网络的变压器故障诊断这个方向数据从哪来、网络怎么搭、参数学会怎么设、以及最容易翻车的地方。适合正在做设备状态监测、想在DGA数据上尝试深度学习的工程师和研究生默认你已经懂基本的Python和变压器原理但不用会写卷积网络。2. 先弄懂故障诊断到底在解什么问题从DGA到特征工程的完整链路2.1 变压器故障诊断的任务拆解分类、定位、程度估计变压器故障诊断本质是一个模式识别问题。H2 溶解气体氢气、甲烷、乙烷、乙烯、乙炔、一氧化碳、二氧化碳是绝缘油在电热应力下裂解产生的不同故障类型对应不同的气体组分比例。深度学习要解的就是给定一组气体浓度输出故障类别——比如中低温过热、高温过热、局部放电、火花放电、电弧放电。实际项目里还需要进一步判断故障部位绕组、铁芯、分接开关和严重程度这就是第二个分类器和回归头的活。如果只看DGA数据神经网络的输入就是7个维度的浓度值。但裸浓度值有个问题数值跨度太大氢气可能只有几十ppm乙炔可能不到5ppm直接喂给网络梯度更新会被大数值特征主导。所以行业里常见做法是先把浓度做归一化或者取气体相对百分比甚至用比值组合CH4/H2、C2H2/C2H4等作为输入。你要注意一点归一化和比值化各有利弊比值能消除油量差异但会丢失绝对浓度信息低负荷故障的绝对浓度本来就低比值反而会放大噪声。我一般会用两路输入并联——一路吃归一化浓度一路吃比值特征让网络自己学怎么融合。2.2 故障标签怎么定别迷信公开数据集要自己做工况映射深度学习对标签质量极其敏感变压器故障诊断的标签更是难得干净。公开数据集比如IEC TC10、埃及Minia大学的数据样本量通常在几百到一千出头类别分布极不均衡局部放电样本可能是高温过热样本的五六倍。如果直接拿来训练网络会学成永远预测多数类的惰性分类器。实操上我推荐两条腿走路。第一用IEC 60599和DL/T 722给出的三比值编码区间把明确对应的样本优先挑出来第二对于专家已经确认故障类型的案例结合检修记录反向校验标签。需要注意的是现场DGA报告经常出现同一台变压器连续多组数据对应同一个故障这在统计上叫重复样本直接进训练集会夸大模型性能。处理办法是以变压器ID分组按时间序列做划分保证同一台设备的数据不会同时出现在训练集和验证集里。import pandas as pd from sklearn.model_selection import GroupShuffleSplit # 假设data是DataFrame含7种气体列和fault_type标签 # group_col是变压器ID避免同台设备数据泄漏 gss GroupShuffleSplit(n_splits1, test_size0.25, random_state42) for train_idx, val_idx in gss.split(data, data[fault_type], groupsdata[group_col]): train_set data.iloc[train_idx] val_set data.iloc[val_idx] train_set.to_csv(train_split.csv, indexFalse) val_set.to_csv(val_split.csv, indexFalse)逻辑说明GroupShuffleSplit是sklearn里专门处理分组数据的划分器和普通train_test_split最大的区别是它把group_col里的同一ID全部放到同一边防止同一台变压器的多组样本出现在训练和验证两边导致验证指标虚高。参数n_splits控制划分次数实际问题里1次就够random_state固定下来方便复现。划分完之后建议顺手打印一下各类别在训练集和验证集中的比例假如发现某一类故障在验证集里一个样本都没有说明数据量本身不够支撑这个类别要么换算法要么做数据增强。数据增强在表格数据上跟图像完全不同。图像可以翻转裁剪气体浓度不能瞎变。可靠的做法是对同一台变压器连续监测序列做滑窗采样或者用SMOTE变体在少数类样本的K近邻之间插值——但插值后的样本必须召开专家确认合理性因为乙炔和乙烯的物理约束不是线性可插的。珋这个SMOTE一插就物理失真的问题放到后面避坑章细说。3. 深度神经网络怎么设计才适合变压器DGA数据模型结构、损失函数和训练细节3.1 为什么不用CNN和LSTM输入形态决定网络结构很多初学者上来就套用图像领域的CNN或时序领域的LSTM理由是深度学习就这几个模型。但你要想清楚一件事DGA数据是低维表格数据单次采样只有7到14个特征不存在空间局部性也不存在长程依赖。CNN的卷积核在这里抽不到什么有意义的局部模式除非你把7个气体维度强行reshape成图像——那纯属给自己找麻烦。LSTM倒是能用但只有一条时间序列时LSTM的记忆门学到的还是特征交互参数量却比全连接网络大一个量级在小样本下非常容易过拟合。适合这类问题的是多层全连接网络DNN。它的归纳偏置恰好匹配每个神经元都在学习不同气体之间的非线性组合关系。第一层可以理解为在构造虚拟比值比如学出C2H2/(CH4C2H6)这种组合的重要性后续层再在这些组合上做故障类别的判别。网络不需要深3到5层足够每层32到128个神经元激活函数用ReLU或LeakyReLU输出层Softmax映射到故障类别概率。import torch.nn as nn class DGA_DNN(nn.Module): def __init__(self, n_inputs7, n_hidden[64, 128, 64], n_classes5, dropout0.3): super().__init__() layers [] in_dim n_inputs for h in n_hidden: layers.append(nn.Linear(in_dim, h)) layers.append(nn.BatchNorm1d(h)) layers.append(nn.ReLU(inplaceTrue)) layers.append(nn.Dropout(dropout)) in_dim h layers.append(nn.Linear(in_dim, n_classes)) self.net nn.Sequential(*layers) def forward(self, x): return self.net(x) model DGA_DNN(n_inputs7, n_hidden[64, 128, 64], n_classes5, dropout0.4) print(model)逻辑说明这个网络结构是变压器DGA诊断里最常见的基线结构。中间隐藏层采用宽度先增后减的塔形设计第一层64维负责把7维原始输入映射到高维组合空间中间128维做特征交互最后一层64维压缩出判别性成分。BatchNorm1d放在线性层之后、激活之前能稳定小批量训练时的分布漂移Dropout设为0.3到0.5抑制小样本下的过拟合。输出层5个节点对应5类故障。如果你的数据有标记正常状态那就改成6类不要单独建一个二分类器再串多分类器——联合训练的效果永远好于级联因为误差不会逐级放大。3.2 损失函数和类别不均衡用Focal Loss还是加权交叉熵DGA数据几乎一定是不均衡的。电弧放电这类严重故障通常样本稀少而过热类占大头。如果直接用nn.CrossEntropyLoss网络会牺牲少数类的召回率来换取整体准确率。你可能会看到验证集准确率90%以上但查一下每类召回率电弧放电可能只有20%。这是典型的高分陷阱。解决办法有两个。第一是给交叉熵加类别权重权重取训练样本数的倒数或倒数开方。开方后的权重不会让少数类主导梯度更稳。第二是用Focal Loss它通过调制因子(1-p)^γ降低易分样本的损失贡献让模型把注意力放在难分的少数类上。对变压器故障诊断我通常gamma取2alpha按类别频率反比设置。import torch import torch.nn.functional as F def focal_loss(logits, labels, alphaNone, gamma2.0): ce_loss F.cross_entropy(logits, labels, reductionnone) pt torch.exp(-ce_loss) focal_loss (1 - pt) ** gamma * ce_loss if alpha is not None: alpha_t alpha[labels] focal_loss alpha_t * focal_loss return focal_loss.mean() # alpha按类别出现频率反比设置并归一化 # 例如 class_counts [120, 90, 45, 30, 15] class_counts torch.tensor([120, 90, 45, 30, 15], dtypetorch.float32) alpha 1.0 / class_counts alpha alpha / alpha.sum()逻辑说明Focal Loss的核心在于(1-pt)^gamma这个系数。当某个样本已经被分对且pt接近1时这个系数接近0损失被压制梯度更新几乎不再被这类容易样本影响。当样本被分错、pt很小时系数接近1损失基本保持原样于是训练重心自然移向难例。alpha向量用来在类别层面再做一次加权我建议先固定gamma2只调alpha等稳定了再尝试gamma1.5或2.5。值得注意的是gamma调太高会让简单样本的梯度趋近0出现训练初期loss就卡住不动的现象那时要适当降低gamma或改用warmup。3.3 收敛技巧学习率预热、早停和验证集设计小样本DNN最忌讳的是从头到尾用同一个学习率。数据量小意味着梯度噪声大固定学习率要么前期发散要么后期震荡。常见做法是前5到10个epoch做warmup学习率从0.1倍目标值线性升到目标值再用余弦退火逐步降到0。pytorch里可以直接用torch.optim.lr_scheduler。早停early stopping在变压器故障诊断里不只是防止过拟合更是样本量不足时的保底策略。patience设15到20个epoch监控验证集的F1-macro而不是准确率。F1-macro对各类别一视同仁不会因为多数类占优而虚高。需要额外注意的细节是早停恢复的不是最后一个epoch的权重而是验证指标最好的那一个epoch。PyTorch里用model.state_dict()把最优权重存下来训练结束时再load回去。from torch.optim.lr_scheduler import LinearLR, SequentialLR, CosineAnnealingLR optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) warmup LinearLR(optimizer, start_factor0.1, end_factor1.0, total_iters5) cosine CosineAnnealingLR(optimizer, T_max60, eta_min1e-6) scheduler SequentialLR(optimizer, schedulers[warmup, cosine], milestones[5]) best_f1 0.0 patience_counter 0 for epoch in range(100): train_one_epoch(model, train_loader, optimizer) f1_macro evaluate_f1(model, val_loader) if f1_macro best_f1: best_f1 f1_macro torch.save(model.state_dict(), best_model.pt) patience_counter 0 else: patience_counter 1 if patience_counter 20: break scheduler.step()逻辑说明这里的warmup用LinearLR前5个epoch把学习率从1e-4线性提到1e-3防止初期因为随机初始化权重产生的大梯度把loss推飞。T_max60表示余弦退火周期为60个epoch如果你发现训练到后期loss还在降不要延长T_max而是把weight_decay调大到1e-3效果更直接。milestones[5]表示第5个epoch结束时从warmup切到cosine。代码里早停条件是20个epoch内F1-macro没刷新纪录就停保证不会把时间浪费在震荡区间。4. 模型选型不只DNN对比浅层模型和集成方法讲清楚为什么深度学习值得做4.1 和SVM、随机森林比深度学习赢在哪里用过DGA数据做故障诊断的人应该都有体会三比值法在边界样本上经常给出无对应编码或者同时命中多个编码的结果而传统机器学习模型需要你手动构造特征。SVM在你只有几十个样本时确实能workRBF核可以画出很漂亮的分界面但一旦样本量到几百SVM的调参复杂度就上来了——gamma、C、核函数选择每一项都对结果敏感而且模型输出的是决策距离而不是概率不利于和运维检修策略融合。随机森林的优势是鲁棒对异常值不敏感特征重要性可以直接解释。但它的短板在于无法学习特征之间的高阶交互。举个例子CH4/H2比值和C2H4浓度单独看都处于正常范围但组合起来就是典型的过热故障特征。随机森林的树模型对这种交互的建模依赖深度和随机性而DNN天然在每一层做特征组合低层的神经元可以组合出虚拟特征高层的神经元再做更高阶的组合。这就是深度学习在特征交互上的结构性优势。当你手里有大量运行工况数据负载、油温、微水、介损时DNN可以把这些异构特征和DGA气体一起融合这是传统模型很难做到的。4.2 如果一定要用小样本迁移学习和预训练的策略变压器故障诊断的公开数据少绝大部分课题组手里的有效样本不超过500条。在这个量级下直接训DNN几乎注定过拟合哪怕有Dropout和正则化也救不回来。这时迁移学习是更现实的打法——去类似设备状态监测的数据集上预训练。比如电机、GIS设备的故障诊断数据故障物理过程和变压器有一定相似性用这些数据预训练DNN的特征提取层再冻结底层、只微调高层和分类层。如果找不到预训练数据也可以用自编码器做无监督预训练。输入DGA数据、输出重构数据中间层学到的压缩表示保留气体分布的稳态模式。然后再把编码器部分拿出来接分类头用有限的带标签数据微调。这个做法的物理直觉是变压器的正常工况模式远远多于故障模式无监督预训练让模型先学会什么样的气体分布是正常范围内的再学偏离到哪个方向对应什么故障。class DGA_Autoencoder(nn.Module): def __init__(self, n_inputs7, hidden32): super().__init__() self.encoder nn.Sequential( nn.Linear(n_inputs, hidden), nn.ReLU(), nn.Linear(hidden, 8) ) self.decoder nn.Sequential( nn.Linear(8, hidden), nn.ReLU(), nn.Linear(hidden, n_inputs) ) def forward(self, x): code self.encoder(x) recon self.decoder(code) return recon # 预训练阶段 for epoch in range(200): recon model_ae(batch) loss F.mse_loss(recon, batch) loss.backward() optimizer.step() # 微调阶段把decoder丢掉encoder接分类头 class DGA_Classifier(nn.Module): def __init__(self, ae_encoder, n_classes5): super().__init__() self.features ae_encoder.encoder self.head nn.Linear(8, n_classes) def forward(self, x): feat self.features(x) return self.head(feat)逻辑说明自编码器的输入输出维度相同训练目标是让重构值逼近输入值中间8维瓶颈层强迫网络学出压缩表示——这本质上是在捕捉不同气体浓度之间的共现规律和稳态基线。预训练完成后把decoder部分丢弃保留encoder通往分类头的跳接层。注意前向传播时特征层参数用预训练权重初始化但微调时可以设置不同的学习率特征层用较小学习率比如1e-4新加的head用1e-3避免破坏预训练学到的稳态模式。我在实际项目里用这种两阶段方案在只有200条DGA样本的条件下把五分类F1-macro从0.51拉到了0.68提升是实打实的。5. 避坑与排错DGA数据做深度学习的5个血泪教训5.1 特征输入顺序不统一导致结果无法复现现象同一份代码跑两次F1分数有差异换一台机器跑结果差得离谱。原因气体特征列顺序在两个预处理脚本里不一致。比如一次是[H2, CH4, C2H2, C2H4, C2H6, CO, CO2]另一次变成[CH4, H2, C2H4, ...]DNN的第一层权重是和特征位置绑定的顺序一变整个网络学习到的特征交互全错位而且这种错误不会报任何warning。解决写一个固定的特征顺序配置文件放在项目根目录下凡是读数据的脚本都必须从这里import。每次训练前打印一次特征列名和顺序核对后再开始。另一个细节是不同批次的DGA数据单位要一致——有的报告用μL/L有的用mg/L换算关系不是简单的1:1一定要统一成同一种单位。5.2 SMOTE插值造出物理上不可能的样本现象用SMOTE增强后验证集准确率明显上升但拿到真实现场数据上一测召回率反而下降。原因SMOTE在少数类样本之间做线性插值但DGA气体组分不是自由变化的。比如乙炔和乙烯的比值在过热和放电之间有明确的物理边界插值出来的中间值可能同时违反两个约束。网络在训练时见过这种四不像样本学到的判别边界被带偏。解决插值前先按故障类型做KMeans聚类只在同一个簇内插值插值后设置物理过滤器对每个合成样本检查关键比值是否落在该故障类型的历史区间内。超出区间的直接丢弃。如果你对油中气体产气机理很熟这一步可以直接写成规则不熟的话就请变电站的油务试验工程师帮你审一批样本把异常分布记下来。5.3 验证集按时间切于是测试集里出现了训练集没见过的“新工况”现象模型在验证集上F1-macro有0.75部署到现场后第一个月表现良好第二个月开始频繁误报检修发现只是负载率升高。原因DGA数据和运行工况高度相关。你划分训练集和验证集时如果纯粹随机打乱两台相邻变压器、相近日期采集的气体数据可能各自出现在两边模型记住的是工况窗口而不是故障本质。测试集一到秋天负载上升、油温升高气体浓度整体抬升模型就傻掉了。解决按时间顺序划分。用某个日期之前的数据训练之后的数据验证。更进一步按油温区间和负载率分层采样确保训练集覆盖的工况范围足够宽。这个坑和2.2里提到的按变压器ID分组是两回事——ID分组防的是样本泄漏时间切分防的是工况漂移两个都要做。5.4 输出层激活函数选错导致概率全相等现象训练过程loss下降正常准确率也在涨但打印出来的预测概率每一类都接近0.2。原因输出层误用了ReLU或什么都没加。未激活的logits喂给softmax在网络还没完全收敛时看起来正常但一旦某一层出现了很大的正值softmax会产生一个接近1的概率其他接近0离你期望的0.2差很远。反过来说如果输出层用了Sigmoid每个类独立判断各类概率相加不等于1阈值处理时会乱。解决分类问题一律不要动输出层的激活函数在训练时用CrossEntropyLoss或Focal Loss内部自带的Softmax逻辑推理时再对原始的logits做torch.softmax(dim1)。如果你在代码里手动在forward最后加了Softmax推理时概率对但训练时梯度会经过软化的概率反传效果不如logits直接进loss。5.5 BatchNorm加Dropout顺序错误导致验证集性能崩溃现象训练loss平滑下降验证集F1忽高忽低甚至出现NaN。原因BatchNorm放在Dropout之后是很多人踩过的坑。Dropout在训练时随机屏蔽部分神经元BatchNorm如果接在后面统计的均值和方差来自一个被随机屏蔽的Mini-batch每次训练迭代的统计量抖动非常大验证时Dropout关闭、BatchNorm用的是训练集统计量分布错位自然导致验证集指标崩溃。解决顺序固定为Linear - BatchNorm - ReLU - Dropout。这条规则在PyTorch的Sequential里很容易满足。另外验证模式的切换也容易遗漏——训练完成后要在模型上调用model.eval()否则BatchNorm还在用训练集的全局统计量更新推理输出会偏。6. 从模型到运维把诊断结果落成可执行的检修策略训练出一个高F1的模型只是第一步真正让设备工程师相信你需要把输出从概率翻译成建议动作。我在现场落地的习惯是给每个故障类别绑定一个运维策略矩阵正常类别可以延长检测周期低温过热关注负载率和油温曲线高温过热缩短DGA检测周期并安排红外测温局部放电建议做局部放电巡检和超声定位电弧放电直接安排停电检修。这样模型输出的Softmax概率直接映射到检修优先级而不是扔一个类别编号让别人猜。概率校准是另一个容易被忽略的环节。深度模型的Softmax概率并不等于真实置信度尤其在类别不均衡的训练下少数类的概率往往偏大或偏小。用Platt Scaling或者Temperature Scaling做一次事后校准把概率分布拉回合理范围。方法很简单把验证集的logits拿出来用温度参数T除以logits再过一个Softmax用最大似然估计找最优T。温度T大于1则模型过度自信小于1则不够自信。在实践中我还会把连续三次的DGA监测结果送入模型取三次预测概率的平均值作为最终判断。变压器故障是渐变过程单次采样可能因为脱气操作、补油等产生扰动三次平均能滤掉大部分短期波动。如果三次预测结果从局部放电漂移到高温过热这就是一个比任何单次预测都重要的信号意味着设备正在经历状态转移需要立即安排诊断性试验。关于阈值不要死守默认的0.5。少数类的概率整体偏低0.5这个阈值会让电弧放电永远无法触发告警。按每个类别在验证集上的PR曲线选F1最大的阈值用这个阈值做现场判断的基线。线上运行时定时统计最近一个季度的预测分布如果某类概率中位数出现漂移重新校准阈值而不是重新训练模型——后者成本高且容易引入新偏差。这些年做过的变压器诊断项目里模型选型和调参只占工作量的四成剩下六成花在数据清洗、标签校验和阈值调整上。这也是我想提醒所有入坑的人不要指望换个网络结构就能解决数据本身的问题先把数据的底摸清模型才能有发挥空间。希望这篇能帮你在变压器故障诊断的落地上少走几步弯路。本文还有配套的精品资源点击获取 基于深度学习的变压器故障诊断：从DGA数据到运维落地
简介提供一份电力变压器故障诊断技术的专业PDF文档基于深度神经网络DNN对溶解气体分析DGA数据进行挖掘实现故障自动分类与诊断面向电气工程、电力系统自动化及机器学习应用等领域的学习者和工程技术人员。文档完整阐述了DNN、DGA、杜瓦尔三角法、随机森林RFC、K最近邻KNN等核心方法并通过对比实验验证DNN在变压器故障诊断中具有更优的准确性有助于读者快速掌握智能诊断建模思路与实验设计方法。资源包体积1.05MB仅含1个PDF文件内容排版清晰适合查阅与打印目前已有162人浏览学习。如需深入了解基于DGA的变压器故障智能诊断或进行相关数据建模参考这份材料可直接提供方法原理、算法对比和实验结论节省文献检索与整理时间。1. 基于深度神经网络的电力变压器故障诊断不只看DGA趋势还要看怎么把模型落到运维里电力变压器是电网里最贵、最不能停的设备之一哪怕多停一小时损失都是六位数起步。传统上大家靠油中溶解气体分析DGA、三比值法和专家经验去判断故障但现场做过的人都知道三比值法编码缺失、边界模糊轻载、过热、受潮几种工况放在一起判据经常打架。深度神经网络这两年成了突破口——它能把高维特征自动抽出来绕开人工编码的主观性。这篇笔记聊的是基于深度神经网络的变压器故障诊断这个方向数据从哪来、网络怎么搭、参数学会怎么设、以及最容易翻车的地方。适合正在做设备状态监测、想在DGA数据上尝试深度学习的工程师和研究生默认你已经懂基本的Python和变压器原理但不用会写卷积网络。2. 先弄懂故障诊断到底在解什么问题从DGA到特征工程的完整链路2.1 变压器故障诊断的任务拆解分类、定位、程度估计变压器故障诊断本质是一个模式识别问题。H2 溶解气体氢气、甲烷、乙烷、乙烯、乙炔、一氧化碳、二氧化碳是绝缘油在电热应力下裂解产生的不同故障类型对应不同的气体组分比例。深度学习要解的就是给定一组气体浓度输出故障类别——比如中低温过热、高温过热、局部放电、火花放电、电弧放电。实际项目里还需要进一步判断故障部位绕组、铁芯、分接开关和严重程度这就是第二个分类器和回归头的活。如果只看DGA数据神经网络的输入就是7个维度的浓度值。但裸浓度值有个问题数值跨度太大氢气可能只有几十ppm乙炔可能不到5ppm直接喂给网络梯度更新会被大数值特征主导。所以行业里常见做法是先把浓度做归一化或者取气体相对百分比甚至用比值组合CH4/H2、C2H2/C2H4等作为输入。你要注意一点归一化和比值化各有利弊比值能消除油量差异但会丢失绝对浓度信息低负荷故障的绝对浓度本来就低比值反而会放大噪声。我一般会用两路输入并联——一路吃归一化浓度一路吃比值特征让网络自己学怎么融合。2.2 故障标签怎么定别迷信公开数据集要自己做工况映射深度学习对标签质量极其敏感变压器故障诊断的标签更是难得干净。公开数据集比如IEC TC10、埃及Minia大学的数据样本量通常在几百到一千出头类别分布极不均衡局部放电样本可能是高温过热样本的五六倍。如果直接拿来训练网络会学成永远预测多数类的惰性分类器。实操上我推荐两条腿走路。第一用IEC 60599和DL/T 722给出的三比值编码区间把明确对应的样本优先挑出来第二对于专家已经确认故障类型的案例结合检修记录反向校验标签。需要注意的是现场DGA报告经常出现同一台变压器连续多组数据对应同一个故障这在统计上叫重复样本直接进训练集会夸大模型性能。处理办法是以变压器ID分组按时间序列做划分保证同一台设备的数据不会同时出现在训练集和验证集里。import pandas as pd from sklearn.model_selection import GroupShuffleSplit # 假设data是DataFrame含7种气体列和fault_type标签 # group_col是变压器ID避免同台设备数据泄漏 gss GroupShuffleSplit(n_splits1, test_size0.25, random_state42) for train_idx, val_idx in gss.split(data, data[fault_type], groupsdata[group_col]): train_set data.iloc[train_idx] val_set data.iloc[val_idx] train_set.to_csv(train_split.csv, indexFalse) val_set.to_csv(val_split.csv, indexFalse)逻辑说明GroupShuffleSplit是sklearn里专门处理分组数据的划分器和普通train_test_split最大的区别是它把group_col里的同一ID全部放到同一边防止同一台变压器的多组样本出现在训练和验证两边导致验证指标虚高。参数n_splits控制划分次数实际问题里1次就够random_state固定下来方便复现。划分完之后建议顺手打印一下各类别在训练集和验证集中的比例假如发现某一类故障在验证集里一个样本都没有说明数据量本身不够支撑这个类别要么换算法要么做数据增强。数据增强在表格数据上跟图像完全不同。图像可以翻转裁剪气体浓度不能瞎变。可靠的做法是对同一台变压器连续监测序列做滑窗采样或者用SMOTE变体在少数类样本的K近邻之间插值——但插值后的样本必须召开专家确认合理性因为乙炔和乙烯的物理约束不是线性可插的。珋这个SMOTE一插就物理失真的问题放到后面避坑章细说。3. 深度神经网络怎么设计才适合变压器DGA数据模型结构、损失函数和训练细节3.1 为什么不用CNN和LSTM输入形态决定网络结构很多初学者上来就套用图像领域的CNN或时序领域的LSTM理由是深度学习就这几个模型。但你要想清楚一件事DGA数据是低维表格数据单次采样只有7到14个特征不存在空间局部性也不存在长程依赖。CNN的卷积核在这里抽不到什么有意义的局部模式除非你把7个气体维度强行reshape成图像——那纯属给自己找麻烦。LSTM倒是能用但只有一条时间序列时LSTM的记忆门学到的还是特征交互参数量却比全连接网络大一个量级在小样本下非常容易过拟合。适合这类问题的是多层全连接网络DNN。它的归纳偏置恰好匹配每个神经元都在学习不同气体之间的非线性组合关系。第一层可以理解为在构造虚拟比值比如学出C2H2/(CH4C2H6)这种组合的重要性后续层再在这些组合上做故障类别的判别。网络不需要深3到5层足够每层32到128个神经元激活函数用ReLU或LeakyReLU输出层Softmax映射到故障类别概率。import torch.nn as nn class DGA_DNN(nn.Module): def __init__(self, n_inputs7, n_hidden[64, 128, 64], n_classes5, dropout0.3): super().__init__() layers [] in_dim n_inputs for h in n_hidden: layers.append(nn.Linear(in_dim, h)) layers.append(nn.BatchNorm1d(h)) layers.append(nn.ReLU(inplaceTrue)) layers.append(nn.Dropout(dropout)) in_dim h layers.append(nn.Linear(in_dim, n_classes)) self.net nn.Sequential(*layers) def forward(self, x): return self.net(x) model DGA_DNN(n_inputs7, n_hidden[64, 128, 64], n_classes5, dropout0.4) print(model)逻辑说明这个网络结构是变压器DGA诊断里最常见的基线结构。中间隐藏层采用宽度先增后减的塔形设计第一层64维负责把7维原始输入映射到高维组合空间中间128维做特征交互最后一层64维压缩出判别性成分。BatchNorm1d放在线性层之后、激活之前能稳定小批量训练时的分布漂移Dropout设为0.3到0.5抑制小样本下的过拟合。输出层5个节点对应5类故障。如果你的数据有标记正常状态那就改成6类不要单独建一个二分类器再串多分类器——联合训练的效果永远好于级联因为误差不会逐级放大。3.2 损失函数和类别不均衡用Focal Loss还是加权交叉熵DGA数据几乎一定是不均衡的。电弧放电这类严重故障通常样本稀少而过热类占大头。如果直接用nn.CrossEntropyLoss网络会牺牲少数类的召回率来换取整体准确率。你可能会看到验证集准确率90%以上但查一下每类召回率电弧放电可能只有20%。这是典型的高分陷阱。解决办法有两个。第一是给交叉熵加类别权重权重取训练样本数的倒数或倒数开方。开方后的权重不会让少数类主导梯度更稳。第二是用Focal Loss它通过调制因子(1-p)^γ降低易分样本的损失贡献让模型把注意力放在难分的少数类上。对变压器故障诊断我通常gamma取2alpha按类别频率反比设置。import torch import torch.nn.functional as F def focal_loss(logits, labels, alphaNone, gamma2.0): ce_loss F.cross_entropy(logits, labels, reductionnone) pt torch.exp(-ce_loss) focal_loss (1 - pt) ** gamma * ce_loss if alpha is not None: alpha_t alpha[labels] focal_loss alpha_t * focal_loss return focal_loss.mean() # alpha按类别出现频率反比设置并归一化 # 例如 class_counts [120, 90, 45, 30, 15] class_counts torch.tensor([120, 90, 45, 30, 15], dtypetorch.float32) alpha 1.0 / class_counts alpha alpha / alpha.sum()逻辑说明Focal Loss的核心在于(1-pt)^gamma这个系数。当某个样本已经被分对且pt接近1时这个系数接近0损失被压制梯度更新几乎不再被这类容易样本影响。当样本被分错、pt很小时系数接近1损失基本保持原样于是训练重心自然移向难例。alpha向量用来在类别层面再做一次加权我建议先固定gamma2只调alpha等稳定了再尝试gamma1.5或2.5。值得注意的是gamma调太高会让简单样本的梯度趋近0出现训练初期loss就卡住不动的现象那时要适当降低gamma或改用warmup。3.3 收敛技巧学习率预热、早停和验证集设计小样本DNN最忌讳的是从头到尾用同一个学习率。数据量小意味着梯度噪声大固定学习率要么前期发散要么后期震荡。常见做法是前5到10个epoch做warmup学习率从0.1倍目标值线性升到目标值再用余弦退火逐步降到0。pytorch里可以直接用torch.optim.lr_scheduler。早停early stopping在变压器故障诊断里不只是防止过拟合更是样本量不足时的保底策略。patience设15到20个epoch监控验证集的F1-macro而不是准确率。F1-macro对各类别一视同仁不会因为多数类占优而虚高。需要额外注意的细节是早停恢复的不是最后一个epoch的权重而是验证指标最好的那一个epoch。PyTorch里用model.state_dict()把最优权重存下来训练结束时再load回去。from torch.optim.lr_scheduler import LinearLR, SequentialLR, CosineAnnealingLR optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) warmup LinearLR(optimizer, start_factor0.1, end_factor1.0, total_iters5) cosine CosineAnnealingLR(optimizer, T_max60, eta_min1e-6) scheduler SequentialLR(optimizer, schedulers[warmup, cosine], milestones[5]) best_f1 0.0 patience_counter 0 for epoch in range(100): train_one_epoch(model, train_loader, optimizer) f1_macro evaluate_f1(model, val_loader) if f1_macro best_f1: best_f1 f1_macro torch.save(model.state_dict(), best_model.pt) patience_counter 0 else: patience_counter 1 if patience_counter 20: break scheduler.step()逻辑说明这里的warmup用LinearLR前5个epoch把学习率从1e-4线性提到1e-3防止初期因为随机初始化权重产生的大梯度把loss推飞。T_max60表示余弦退火周期为60个epoch如果你发现训练到后期loss还在降不要延长T_max而是把weight_decay调大到1e-3效果更直接。milestones[5]表示第5个epoch结束时从warmup切到cosine。代码里早停条件是20个epoch内F1-macro没刷新纪录就停保证不会把时间浪费在震荡区间。4. 模型选型不只DNN对比浅层模型和集成方法讲清楚为什么深度学习值得做4.1 和SVM、随机森林比深度学习赢在哪里用过DGA数据做故障诊断的人应该都有体会三比值法在边界样本上经常给出无对应编码或者同时命中多个编码的结果而传统机器学习模型需要你手动构造特征。SVM在你只有几十个样本时确实能workRBF核可以画出很漂亮的分界面但一旦样本量到几百SVM的调参复杂度就上来了——gamma、C、核函数选择每一项都对结果敏感而且模型输出的是决策距离而不是概率不利于和运维检修策略融合。随机森林的优势是鲁棒对异常值不敏感特征重要性可以直接解释。但它的短板在于无法学习特征之间的高阶交互。举个例子CH4/H2比值和C2H4浓度单独看都处于正常范围但组合起来就是典型的过热故障特征。随机森林的树模型对这种交互的建模依赖深度和随机性而DNN天然在每一层做特征组合低层的神经元可以组合出虚拟特征高层的神经元再做更高阶的组合。这就是深度学习在特征交互上的结构性优势。当你手里有大量运行工况数据负载、油温、微水、介损时DNN可以把这些异构特征和DGA气体一起融合这是传统模型很难做到的。4.2 如果一定要用小样本迁移学习和预训练的策略变压器故障诊断的公开数据少绝大部分课题组手里的有效样本不超过500条。在这个量级下直接训DNN几乎注定过拟合哪怕有Dropout和正则化也救不回来。这时迁移学习是更现实的打法——去类似设备状态监测的数据集上预训练。比如电机、GIS设备的故障诊断数据故障物理过程和变压器有一定相似性用这些数据预训练DNN的特征提取层再冻结底层、只微调高层和分类层。如果找不到预训练数据也可以用自编码器做无监督预训练。输入DGA数据、输出重构数据中间层学到的压缩表示保留气体分布的稳态模式。然后再把编码器部分拿出来接分类头用有限的带标签数据微调。这个做法的物理直觉是变压器的正常工况模式远远多于故障模式无监督预训练让模型先学会什么样的气体分布是正常范围内的再学偏离到哪个方向对应什么故障。class DGA_Autoencoder(nn.Module): def __init__(self, n_inputs7, hidden32): super().__init__() self.encoder nn.Sequential( nn.Linear(n_inputs, hidden), nn.ReLU(), nn.Linear(hidden, 8) ) self.decoder nn.Sequential( nn.Linear(8, hidden), nn.ReLU(), nn.Linear(hidden, n_inputs) ) def forward(self, x): code self.encoder(x) recon self.decoder(code) return recon # 预训练阶段 for epoch in range(200): recon model_ae(batch) loss F.mse_loss(recon, batch) loss.backward() optimizer.step() # 微调阶段把decoder丢掉encoder接分类头 class DGA_Classifier(nn.Module): def __init__(self, ae_encoder, n_classes5): super().__init__() self.features ae_encoder.encoder self.head nn.Linear(8, n_classes) def forward(self, x): feat self.features(x) return self.head(feat)逻辑说明自编码器的输入输出维度相同训练目标是让重构值逼近输入值中间8维瓶颈层强迫网络学出压缩表示——这本质上是在捕捉不同气体浓度之间的共现规律和稳态基线。预训练完成后把decoder部分丢弃保留encoder通往分类头的跳接层。注意前向传播时特征层参数用预训练权重初始化但微调时可以设置不同的学习率特征层用较小学习率比如1e-4新加的head用1e-3避免破坏预训练学到的稳态模式。我在实际项目里用这种两阶段方案在只有200条DGA样本的条件下把五分类F1-macro从0.51拉到了0.68提升是实打实的。5. 避坑与排错DGA数据做深度学习的5个血泪教训5.1 特征输入顺序不统一导致结果无法复现现象同一份代码跑两次F1分数有差异换一台机器跑结果差得离谱。原因气体特征列顺序在两个预处理脚本里不一致。比如一次是[H2, CH4, C2H2, C2H4, C2H6, CO, CO2]另一次变成[CH4, H2, C2H4, ...]DNN的第一层权重是和特征位置绑定的顺序一变整个网络学习到的特征交互全错位而且这种错误不会报任何warning。解决写一个固定的特征顺序配置文件放在项目根目录下凡是读数据的脚本都必须从这里import。每次训练前打印一次特征列名和顺序核对后再开始。另一个细节是不同批次的DGA数据单位要一致——有的报告用μL/L有的用mg/L换算关系不是简单的1:1一定要统一成同一种单位。5.2 SMOTE插值造出物理上不可能的样本现象用SMOTE增强后验证集准确率明显上升但拿到真实现场数据上一测召回率反而下降。原因SMOTE在少数类样本之间做线性插值但DGA气体组分不是自由变化的。比如乙炔和乙烯的比值在过热和放电之间有明确的物理边界插值出来的中间值可能同时违反两个约束。网络在训练时见过这种四不像样本学到的判别边界被带偏。解决插值前先按故障类型做KMeans聚类只在同一个簇内插值插值后设置物理过滤器对每个合成样本检查关键比值是否落在该故障类型的历史区间内。超出区间的直接丢弃。如果你对油中气体产气机理很熟这一步可以直接写成规则不熟的话就请变电站的油务试验工程师帮你审一批样本把异常分布记下来。5.3 验证集按时间切于是测试集里出现了训练集没见过的“新工况”现象模型在验证集上F1-macro有0.75部署到现场后第一个月表现良好第二个月开始频繁误报检修发现只是负载率升高。原因DGA数据和运行工况高度相关。你划分训练集和验证集时如果纯粹随机打乱两台相邻变压器、相近日期采集的气体数据可能各自出现在两边模型记住的是工况窗口而不是故障本质。测试集一到秋天负载上升、油温升高气体浓度整体抬升模型就傻掉了。解决按时间顺序划分。用某个日期之前的数据训练之后的数据验证。更进一步按油温区间和负载率分层采样确保训练集覆盖的工况范围足够宽。这个坑和2.2里提到的按变压器ID分组是两回事——ID分组防的是样本泄漏时间切分防的是工况漂移两个都要做。5.4 输出层激活函数选错导致概率全相等现象训练过程loss下降正常准确率也在涨但打印出来的预测概率每一类都接近0.2。原因输出层误用了ReLU或什么都没加。未激活的logits喂给softmax在网络还没完全收敛时看起来正常但一旦某一层出现了很大的正值softmax会产生一个接近1的概率其他接近0离你期望的0.2差很远。反过来说如果输出层用了Sigmoid每个类独立判断各类概率相加不等于1阈值处理时会乱。解决分类问题一律不要动输出层的激活函数在训练时用CrossEntropyLoss或Focal Loss内部自带的Softmax逻辑推理时再对原始的logits做torch.softmax(dim1)。如果你在代码里手动在forward最后加了Softmax推理时概率对但训练时梯度会经过软化的概率反传效果不如logits直接进loss。5.5 BatchNorm加Dropout顺序错误导致验证集性能崩溃现象训练loss平滑下降验证集F1忽高忽低甚至出现NaN。原因BatchNorm放在Dropout之后是很多人踩过的坑。Dropout在训练时随机屏蔽部分神经元BatchNorm如果接在后面统计的均值和方差来自一个被随机屏蔽的Mini-batch每次训练迭代的统计量抖动非常大验证时Dropout关闭、BatchNorm用的是训练集统计量分布错位自然导致验证集指标崩溃。解决顺序固定为Linear - BatchNorm - ReLU - Dropout。这条规则在PyTorch的Sequential里很容易满足。另外验证模式的切换也容易遗漏——训练完成后要在模型上调用model.eval()否则BatchNorm还在用训练集的全局统计量更新推理输出会偏。6. 从模型到运维把诊断结果落成可执行的检修策略训练出一个高F1的模型只是第一步真正让设备工程师相信你需要把输出从概率翻译成建议动作。我在现场落地的习惯是给每个故障类别绑定一个运维策略矩阵正常类别可以延长检测周期低温过热关注负载率和油温曲线高温过热缩短DGA检测周期并安排红外测温局部放电建议做局部放电巡检和超声定位电弧放电直接安排停电检修。这样模型输出的Softmax概率直接映射到检修优先级而不是扔一个类别编号让别人猜。概率校准是另一个容易被忽略的环节。深度模型的Softmax概率并不等于真实置信度尤其在类别不均衡的训练下少数类的概率往往偏大或偏小。用Platt Scaling或者Temperature Scaling做一次事后校准把概率分布拉回合理范围。方法很简单把验证集的logits拿出来用温度参数T除以logits再过一个Softmax用最大似然估计找最优T。温度T大于1则模型过度自信小于1则不够自信。在实践中我还会把连续三次的DGA监测结果送入模型取三次预测概率的平均值作为最终判断。变压器故障是渐变过程单次采样可能因为脱气操作、补油等产生扰动三次平均能滤掉大部分短期波动。如果三次预测结果从局部放电漂移到高温过热这就是一个比任何单次预测都重要的信号意味着设备正在经历状态转移需要立即安排诊断性试验。关于阈值不要死守默认的0.5。少数类的概率整体偏低0.5这个阈值会让电弧放电永远无法触发告警。按每个类别在验证集上的PR曲线选F1最大的阈值用这个阈值做现场判断的基线。线上运行时定时统计最近一个季度的预测分布如果某类概率中位数出现漂移重新校准阈值而不是重新训练模型——后者成本高且容易引入新偏差。这些年做过的变压器诊断项目里模型选型和调参只占工作量的四成剩下六成花在数据清洗、标签校验和阈值调整上。这也是我想提醒所有入坑的人不要指望换个网络结构就能解决数据本身的问题先把数据的底摸清模型才能有发挥空间。希望这篇能帮你在变压器故障诊断的落地上少走几步弯路。本文还有配套的精品资源点击获取