简介面向科研与工业分析人员这套基于深度学习的近红外光谱NIR数据回归分析模型压缩包针对光谱数据高维、非线性且传统方法难以解析的痛点集中展示了多种神经网络回归方案适合具备一定机器学习基础、希望将深度学习应用于化学、食品或生物医学定量分析的中高级学习者。资源共9个文件包含8个Python脚本与1个Markdown说明。脚本分别实现ConvNet、SpectFormer、DeepViT、ViT等网络及其迁移学习变体覆盖从卷积到Transformer的光谱建模思路README则对目录结构、模型定义和训练流程给出说明。整包仅26KB代码精炼、易于对比实验与二次开发。目前已有117人学习。通过查看代码与文档可完整了解光谱数据预处理、模型搭建、训练调参与迁移学习的实践流程还能基于其中的标准网络结构快速构建自己的回归任务省去重复编码时间。1. 近红外光谱回归分析用深度学习之前先想清楚这三个问题拿到一个 基于深度学习的近红外光谱数据回归分析模型.zip 项目包时别急着解压跑通。你需要先回答三个问题光谱数据预处理到不到位样本量撑不撑得起深度网络回归任务用什么评价指标才算过关近红外光谱NIR数据天生高维、强共线性、通常样本量还小传统偏最小二乘PLS是这类任务的基准线。深度学习不是用来无脑替换 PLS 的而是在线性拟合不够用、特征交互复杂时比如水分、蛋白质、油脂的多组分重叠吸收场景才有可能拿到更好的预测精度。这个方向适合做农产品品质检测、制药过程控制、化工原料快检的算法工程师和研究生也适合刚入深度学习、想找一个非图像非文本的回归项目练手的人。接下来我会按我做过的近红外回归建模流程从数据预处理讲到模型选型、训练评估、常见坑最后落到模型解释和部署。2. 光谱数据预处理与数据集划分决定模型上限的 80% 工作量2.1 原始 NIR 光谱为什么不能直接喂给深度网络近红外光谱记录的是含氢基团O-H、N-H、C-H的倍频和合频吸收信噪比低、基线漂移严重还容易受颗粒度、温度和仪器状态影响。如果你直接把原始吸光度矩阵丢给一个全连接网络网络要额外花费大量参数去拟合基线和散射差异而不是真正学习化学成分和光谱的相关结构。小样本场景下这几乎是必然过拟合。另一个问题是数值尺度。不同波长点的吸光度范围不一致比如有的在 0.1 附近有的接近 0.9激活函数在饱和区梯度很小模型学习效率低。我一般先做逐样本的标准正态变换SNV再做 Savitzky-Golay 平滑最后在训练集上做均值中心化或标准化。前两步是逐样本操作不跨样本最后一步的均值、标准差必须在训练集上拟合否则会造成数据泄露这一点后面会专门讲。2.2 常用预处理组合SNV SG 平滑 均值中心化SNV 的原理很简单对每一条光谱减去这条光谱自身的均值再除以自身标准差消除基线偏移和乘性散射。SG 平滑是移动窗口内做多项式最小二乘拟合再取窗口中心点平滑值能去掉高频噪声同时保留谱峰形状比移动平均更不容易削峰。均值中心化让每个变量的平均值归零让模型关注变化模式而不是绝对水平。下面是我常用的预处理函数直接用 NumPy 和 SciPy 实现import numpy as np from scipy.signal import savgol_filter def snv(spectrum, eps1e-8): 逐样本标准正态变换 mean spectrum.mean() std spectrum.std() if std eps: return spectrum - mean # 防止常数区域除零 return (spectrum - mean) / std def preprocess_spectra(X_raw, do_snvTrue, do_savgolTrue, win11, poly2): X_raw: 形状 (n_samples, n_wavelengths) 的原始吸光度矩阵 do_snv: 是否做标准正态变换 do_savgol: 是否做SG平滑 win: SG窗口长度必须是奇数 poly: SG多项式阶数一般取2或3 X X_raw.astype(np.float64) if do_snv: X np.apply_along_axis(snv, axis1, arrX) if do_savgol: # axis1 表示沿波长方向平滑 X savgol_filter(X, window_lengthwin, polyorderpoly, axis1) return X这段代码核心是apply_along_axis和savgol_filter的axis1。注意win要小于光谱点数的二分之一poly要小于win否则会报错。我通常用win11、poly2对 4000 波数的光谱来说窗口不算大不会过度平滑指纹区细节。如果你做的是水分这种宽吸收峰的体系可以把窗口调到 15 或 21如果做的是精细成分比如芳烃特征峰窗口大于 15 就容易把峰高拉低。2.3 划分训练/验证/测试集按样本来源分层别随机打乱光谱建模最隐蔽的问题不是模型结构而是数据划分方式。同一批样品、同一个扫描条件下测出来的光谱高度相似随机划分会把同源的样本同时送进训练集和测试集模型记住的是设备状态而不是化学信息测试结果虚高。做近红外建模我一般要求手里有样本来源信息比如生产批次、采集日期、样品编号然后按组划分。用GroupShuffleSplit可以实现这一点from sklearn.model_selection import GroupShuffleSplit # 假设 df 中有一列 batch 表示样本来源批次 groups df[batch].values gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, test_idx next(gss.split(X_preprocessed, y, groupsgroups)) X_train_full X_preprocessed[train_idx] y_train_full y[train_idx] X_test X_preprocessed[test_idx] y_test y[test_idx] # 再从训练全集中按组切一个验证集出来用于早停 gss_val GroupShuffleSplit(n_splits1, test_size0.15, random_state0) val_idx, train_idx_final next(gss_val.split(X_train_full, y_train_full, groupsgroups[train_idx])) X_val X_train_full[val_idx] y_val y_train_full[val_idx] X_train X_train_full[train_idx_final] y_train y_train_full[train_idx_final]这里的关键是groups必须和索引一一对应。很多人会漏掉groups参数导致分组划分失效这等于白写。random_state我习惯固定因为近红外数据集少重新划分一次结果波动很大固定种子至少让对比实验是公平的。划分完之后再做均值中心化我通常对波长变量做标准化注意只用训练集的均值和标准差再对验证集和测试集用同一组参数from sklearn.preprocessing import StandardScaler scaler StandardScaler().fit(X_train) X_train_scaled scaler.transform(X_train) X_val_scaled scaler.transform(X_val) X_test_scaled scaler.transform(X_test)到这里数据才真正能进入深度学习模型。很多公开的近红外回归分析模型项目把预处理写死在主流程里但实际生产环境里每台仪器的基线特性不同改造预处理代码时一定要记住预处理的前半段SNV、SG可以独立后半段标准化必须在训练集上拟合。3. 构建回归模型从 PLS 到 1D-CNN 的三种可复现结构3.1 基线模型先让 PLS 定一个性能下限在跑深度学习之前我会先做一次 PLS 回归。这不是浪费时间而是后续所有深度模型的底线。近红外光谱回归最典型的场景是预测样品中某组分的含量PLS 通过提取光谱与待测组分的最大协方差潜变量在线性空间内拟合效果稳定且可解释。如果 PLS 已经做到 R² 0.98 了那就没必要上深度学习。你需要回答的问题是线性模型残差里还有没有结构如果有深度学习才有发挥空间。用scikit-learn跑 PLS 很简单from sklearn.cross_decomposition import PLSRegression from sklearn.metrics import mean_squared_error, r2_score pls PLSRegression(n_components8, scaleTrue) pls.fit(X_train_scaled, y_train) y_pred_pls pls.predict(X_test_scaled) rmse_pls np.sqrt(mean_squared_error(y_test, y_pred_pls)) r2_pls r2_score(y_test, y_pred_pls) print(fPLS: RMSE{rmse_pls:.3f}, R2{r2_pls:.3f})n_components不是越大越好。我通常用交叉验证选择常见做法是 5 到 15 个潜变量超过 15 通常开始过拟合。如果你发现 PLS 的 R² 已经大于 0.95而深度学习模型的验证集 R² 反而更低不要意外这就是近红外光谱小样本场景的常态。3.2 全连接网络小样本下的基本盘对于一两百个样本的数据集全连接网络配上 dropout 和正则化是比 CNN 更稳妥的起点。近红外光谱变量之间有强共线性全连接网络相当于把每个波长点的权重独立学习模型容量很大但这也意味着更容易过拟合。我的做法是控制网络宽度不要一上来就上千神经元。下面是 PyTorch 实现的多层感知机回归模型import torch from torch import nn class MLPRegressor(nn.Module): def __init__(self, n_features, hidden_sizes(512, 128, 32), dropout0.2): super().__init__() layers [] in_size n_features for h in hidden_sizes: layers.append(nn.Linear(in_size, h)) layers.append(nn.ReLU()) layers.append(nn.Dropout(dropout)) in_size h layers.append(nn.Linear(in_size, 1)) self.net nn.Sequential(*layers) def forward(self, x): # x: (batch, n_features) return self.net(x).squeeze(-1)这里hidden_sizes从 512 降到 32是金字塔结构。近红外光谱通常有上千个波长点第一层 512 足够把信息压缩。Dropout 放在激活之后每次训练随机丢弃 20% 的神经元避免神经元之间过度协同适应。squeeze(-1)去掉最后一维的 1让输出变成(batch,)方便后续计算 MSE loss。3.3 1D-CNN局部波长特征提取如果光谱中存在连续的吸收带比如 6800 nm 附近的羟基吸收CNN 的卷积核可以通过局部窗口提取这些区域的形态特征比全连接网络更有效。1D-CNN 的输入是一维光谱卷积核在波长方向上滑动等价于对每个局部窗口做加权求和再经过非线性激活。池化层降低分辨率让高层卷积核看到更大的感受野。但近红外光谱不像图像局部窗口的长度不宜太大。我用 5 到 9 个波长的卷积核因为近红外吸收峰半峰宽通常在几十个波数以上卷积核太大会把邻近无关波段也混进来。池化用 MaxPool1d步长为 2这样每层把波长维减半防止全连接层之前计算量爆炸。3.4 用 PyTorch 实现 1D-CNN 回归模型下面是一个可以直接落地的 1D-CNN 结构class CNN1DRegressor(nn.Module): def __init__(self, n_features, filters(32, 64), kernel_size5, dropout0.3): super().__init__() self.conv nn.Sequential( nn.Conv1d(1, filters[0], kernel_size, paddingkernel_size // 2), nn.ReLU(), nn.MaxPool1d(2), nn.Conv1d(filters[0], filters[1], kernel_size, paddingkernel_size // 2), nn.ReLU(), nn.MaxPool1d(2) ) self.pool nn.AdaptiveAvgPool1d(1) self.head nn.Sequential( nn.Dropout(dropout), nn.Linear(filters[1], 64), nn.ReLU(), nn.Linear(64, 1) ) def forward(self, x): # x: (batch, n_features) x x.unsqueeze(1) # (batch, 1, n_features) x self.conv(x) # (batch, filters[-1], reduced_length) x self.pool(x).squeeze(-1) # (batch, filters[-1]) return self.head(x).squeeze(-1)unsqueeze(1)把二维输入扩展成通道维为 1 的三维张量这是Conv1d需要的输入格式。两次卷积层输出通道分别 32 和 64可以看作先提取波段形态特征再组合成一阶交互特征。paddingkernel_size // 2保证卷积不改变波长长度但 MaxPool1d(2) 会把长度减半所以后面加一个AdaptiveAvgPool1d(1)把任意长度压成 1避免全连接层输入尺寸因池化变化而报错。这个设计让你不需要手工计算池化后的长度。我对比过用固定Flatten和AdaptiveAvgPool的效果后者模型参数更少对光谱中峰位置的微小偏移更鲁棒更适合仪器在不同批次间有轻微波长漂移的场景。4. 训练策略与模型评估别只盯着 R²要看 RMSE 和 RPD4.1 小样本下的早停与正则化近红外光谱样本量太少训练轮数一多验证集 loss 先降后升是典型现象。我从不训练满固定 epoch而是用早停当验证集 loss 连续若干个 epoch 不再下降就回滚到最佳权重。配合权重衰减weight_decay和 dropout能把过拟合压到最低。PyTorch 里实现早停最直接的办法是保存验证集 loss 最低时的模型状态在训练循环中比较当前 loss 和最佳 loss连续 patience 轮不更新就触发停止。4.2 评估指标R²、RMSE、RPD 的计算与解读回归模型不能只看 R²。R² 高只代表模型解释了大部分方差但 R² 对异常值不敏感。RMSE均方根误差是实际预测值和真实值的偏差单位和待测组分一致比如水分含量单位是%你直接看 RMSE0.5% 就知道预测误差平均在半个百分点。RPD 是测试集标准差除以 RMSE用于衡量模型相对于样品本身波动的预测能力RPD 1.5模型不可用只能粗糙筛查1.5 ≤ RPD 2可以用于半定量2 ≤ RPD 2.5可以用于质量预测RPD ≥ 2.5模型优秀可以用于过程控制我一般在测试集上同时汇报 RMSE、R² 和 RPD这样同行能直接对比。4.3 训练脚本的完整流程把前面的数据划分、模型定义和训练逻辑串起来就是一个完整的训练流程。下面是核心训练函数def train_model(model, train_loader, val_loader, epochs300, lr1e-3, patience30): optimizer torch.optim.Adam(model.parameters(), lrlr, weight_decay1e-5) criterion nn.MSELoss() best_val float(inf) best_state None wait 0 for epoch in range(epochs): model.train() train_loss 0.0 for xb, yb in train_loader: optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() optimizer.step() train_loss loss.item() * len(xb) model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in val_loader: pred model(xb) val_loss criterion(pred, yb).item() * len(xb) train_loss / len(train_loader.dataset) val_loss / len(val_loader.dataset) if val_loss best_val: best_val val_loss best_state {k: v.clone() for k, v in model.state_dict().items()} wait 0 else: wait 1 if wait patience: break model.load_state_dict(best_state) return model, best_valtrain_loader和val_loader由DataLoader构造batch 大小我习惯用 32 或 64。近红外光谱样本少batch 太小会让梯度噪声大太大又容易收敛到平坦区。lr初始值 1e-3 对 Adam 是合理起点但如果你发现训练 loss 不下降降到 3e-4 重新跑如果 loss 震荡降到 1e-4。weight_decay1e-5是 L2 正则化对全连接网络尤其重要CNN 可以适当调低到 1e-6。patience30意味着验证集连续 30 轮不改善就停止这是小样本下的安全值。4.4 模型评估与保存评估函数放在训练之后在测试集上做一次前向传播算出三个指标同时把预测结果保存到 CSV 方便回溯def evaluate(model, loader): model.eval() preds, true [], [] with torch.no_grad(): for xb, yb in loader: preds.append(model(xb).cpu().numpy()) true.append(yb.cpu().numpy()) preds np.concatenate(preds) true np.concatenate(true) rmse np.sqrt(np.mean((preds - true) ** 2)) r2 1 - np.sum((preds - true) ** 2) / np.sum((true - true.mean()) ** 2) rpd np.std(true) / rmse return rmse, r2, rpd rmse, r2, rpd evaluate(model, test_loader) print(fTest: RMSE{rmse:.4f}, R2{r2:.4f}, RPD{rpd:.2f}) # 保存模型权重 torch.save(model.state_dict(), nir_regression_model.pt) # 同时保存预处理参数后面推理要用 np.savez(preprocess_params.npz, meanscaler.mean_, stdscaler.scale_)注意这里scaler.mean_和scaler.scale_在StandardScaler里分别是对应变量的均值、标准差数组。保存它们是为了推理时用同一套参数做标准化否则预测值会完全偏移。如果你用的是全连接网络torch.save(model.state_dict(), ...)只能保存权重不能保存模型结构所以我通常连同模型类定义一起放在一个 Python 模块里推理时重新实例化再load_state_dict。如果嫌麻烦可以直接torch.save(model, ...)保存整个模型对象但升级 PyTorch 版本后可能不兼容我不推荐这么做。5. 近红外深度学习回归的 5 个常见坑与排查方法5.1 数据泄露预处理用了全样本统计量现象训练集 R² 接近 0.99测试集 R² 也无比好看但一换到新仪器上预测结果立刻崩掉。原因在划分训练/测试集之前就对全光谱数据做了标准化、PCA 降维或波长选择这些步骤用到了测试集的信息导致测试集指标虚高。这在近红外光谱项目里是最常见却最隐蔽的错误。解决把所有涉及全样本统计量的步骤放进 Pipeline 里并放到训练集上拟合。规范的顺序是先划分数据再在训练集上计算标准化参数对于 PLS、PCA 等降维方法用交叉验证在选择参数时只使用训练部分测试集只能在最终评估时出现一次。5.2 样本量太小而网络太大现象训练 loss 降到趋近于 0验证 loss 在初段下降后一路爬升测试集 R² 甚至为负。原因近红外光谱项目通常只有几十到几百个样本全连接网络第一层 1024 个神经元就有几十万参数直接把样本上的噪声也背下来了。解决缩小网络宽度优先保证 layers 数量不超过 3 层每层不超过 256 个神经元。另外把 dropout 从 0.2 提高到 0.4并开启早停。我在一个 180 个样本的玉米水分数据集上做过对比MLP 第一层 512 时验证集 R² 只有 0.82改成 128 后升到 0.90原因就是参数少了更不容易记住噪声。5.3 光谱波段选择不当模型输入全是噪声现象模型训练稳定但 R² 始终不高预测曲线在尖峰处误差很大。原因近红外光谱两端常包含强烈的基线噪声和无信息区域比如 10000 nm 以上的长波端。全波长输入会迫使网络在噪声区域也学出非零权重稀释了有效特征。解决先用 PLS 系数或 VIP 分数做一次粗筛找到贡献最大的波长区间。常见做法是选择指纹区 4000-7000 cm⁻¹或相应对应的 nm 范围至少要把仪器边缘噪声区域裁掉。比如我处理氮含量数据时只取 4000-6000 cm⁻¹模型 RMSE 降低了约 15%。如果你不想手工选波段可以在模型里加一个注意力层但小样本下注意力层很容易过拟合不如直接裁剪。5.4 复现不出论文结果随机种子和初始化现象用同样的数据和代码第二次跑的结果和第一次差很多有时 R² 相差 0.03有时相差 0.1。原因深度学习模型的初始化权重、数据加载顺序、dropout 都是随机的。近红外样本少随机波动会被放大。解决在代码入口固定所有能固定的随机种子。注意不是只设torch.manual_seed还要设numpy.random和 Python 的random。如果用了 DataLoader 的 shuffle给它单独指定一个 generator。另外GroupShuffleSplit的随机种子也要固定。这样至少在同一环境下可以复现。def set_seed(seed): import random random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsecudnn.deterministic True会牺牲一点运行速度但保证卷积计算结果是确定性的。benchmark False是为了避免 cuDNN 在运行时根据输入尺寸选择不同算法导致结果不一致。如果你是做最终实验建议开启如果是调参阶段可以关掉以提高速度。5.5 模型解释性差找不到与化学基团相关的特征现象深度学习模型预测精度不错但你不知道模型在看哪段光谱写论文或者向客户解释时没有依据。原因全连接网络没有天然的特征权重可视化方式CNN 的卷积核也不直接对应化学基团吸收峰。解决采用梯度类归因方法比如对输入光谱计算梯度找出对预测值影响最大的波长点。或者用置换重要性把某一波长点的值随机打乱观察 RMSE 变化变化越大说明这个波长越重要。下面是一个简单的梯度归因实现def spectral_grad(model, sample): model.eval() x torch.tensor(sample, dtypetorch.float32).unsqueeze(0) x.requires_grad_(True) pred model(x) pred.backward() importance x.grad.abs().squeeze().numpy() return importance梯度绝对值大的波长对应模型输出对该波长最敏感。你可以把重要性曲线和原始光谱叠加展示如果它和高梯度区域正好落在已知吸收峰附近说明模型学到的化学特征和先验知识吻合。如果高梯度区域集中在噪声波段说明模型很可能过拟合了需要回去检查预处理和模型容量。6. 把模型做成可以交付的近红外分析工具从权重导出到外部验证训练完模型只是第一步真正能用于现场检测的模型需要解决三个问题模型形式能不能脱离训练环境运行、新样品的预处理逻辑是否和老训练数据一致、以及模型在新来源样本上的泛化能力有没有验证过。我的做法是把模型导出成 ONNX 格式。ONNX 是开放的模型交换格式可以加载到 OnnxRuntime 里在 C、Java 或者 Python 环境里推理不依赖 PyTorch 环境。这能避免在现场电脑上费劲搞深度学习环境配置的尴尬。用 PyTorch 导出很简单model.eval() dummy_input torch.randn(1, n_features, dtypetorch.float32) torch.onnx.export( model, dummy_input, nir_model.onnx, input_names[spectrum], output_names[concentration], dynamic_axes{spectrum: {0: batch}} )导出后建议抽测五个样本对比 ONNX 推理结果和 PyTorch 原始输出误差在 1e-5 以内就可以接受。注意预处理里的StandardScaler参数也要一并写入部署参数文件推理时先对光谱做 SNV、SG 平滑然后用保存的均值、标准差做标准化再进 ONNX 模型。顺序错一步预测值就是错的。外部验证是最后一个门槛。深度学习模型在训练集所属的仪器或样品范围之外往往表现不佳。我通常在拿到新批次样品后先跑一次预测统计残差和 RMSE 是否超出模型训练时的设定阈值。如果超出了就把这些新样本并入训练集增量更新模型。这个操作听着简单但增量更新时要注意新样本不能太少至少五十条否则模型会被少量样本带偏。另一个习惯是每次模型发布前写一份摘要包含采集日期、仪器编号、样本范围、预处理参数、测试集指标这些信息是以后排错和复现的依据比代码本身更值钱。做近红外深度学习的这几年我最大的教训是把模型效果不好甩锅给网络结构太浅多半是前面的数据处理和划分方式埋了雷。光谱数据的深度模型不需要多么花哨预处理、划分离散、正则化、评估指标是否闭环才是能不能真正用在生产线上的分水岭。希望这篇笔记能帮你把一个 zip 包变成一个可交付的方案也帮你在踩坑的时候少走一些弯路。本文还有配套的精品资源点击获取