简介针对语音情感识别研究与毕业设计需求这套项目资源融合了长短期记忆网络、卷积神经网络、支持向量机与多层感知机四种模型基于Keras和Python实现完整训练与预测流程。资源包共57个文件以Python脚本、模型权重、配置文件、特征数据及备份文件等类型为主整体约82.2MB。训练产物包含模型权重、训练日志与备份数据便于直接加载或继续调参。项目按模型、特征提取、配置、检查点等模块划分分别对应模型定义、Librosa与OpenSMILE特征提取、实验配置与训练产物目录结构清晰便于二次开发。目前已有55人学习使用适合作为毕业设计、课程实践或工程落地的参考基线。通过源码与说明文档读者可掌握多模型融合的语音情绪分析流程并根据自有数据集扩展特征提取方法与模型结构。1. 多模型融合的语音情感识别一套能直接跑的 Python/Keras 基线系统语音情感识别Speech Emotion Recognition这几年在毕业设计里出现频率很高但很多拿到手的代码只给你一个训练脚本数据从哪来、特征怎么对齐、模型怎么复用全是黑匣子。这套资源不太一样它把多模型融合的语音情感识别系统做到了能直接跑的程度 — Librosa 和 OpenSMILE 两套特征提取管线、LSTM/CNN/SVM/MLP 四个模型、训练与预测脚本、还有训好的 checkpoint 全在一个压缩包里。系统设计得很清晰features 目录存特征configs 目录存超参checkpoints 目录存权重你拿到手先跑一遍 predict 就能看到效果。适合做毕业设计、课程实践也适合刚接触 SER 的工程师拿来当地基在这之上换数据集、加注意力机制都比从零写省事得多。2. 特征工程Librosa 与 OpenSMILE 两条路线理解这步后面才不迷糊2.1 为什么情感识别不直接用原始波形很多入门者会问LSTM 不是能处理时序数据吗为什么不能直接把 16kHz 的采样点丢进去技术上可以但工程上很蠢。一段 3 秒的音频采样点是 48000 个LSTM 要展开 48000 步显存和训练时间都扛不住而且原始波形里说话人个性、录音信道噪声的成分远大于情感信息模型学到的往往是噪声而不是情绪。语音情感识别的通行做法是先做声学特征提取把每帧音频压缩成 MFCC、基频、能量这类紧凑表示。这套资源里特征层做得比较完整。extract_feats 目录下有两个提取脚本librosa.py 走 Librosa 的特征路线opensmile.py 走 OpenSMILE 工具的特征路线。features 目录里已经帮你把数据集组合的特征跑好了3-category、6-category、7-category 是情感类别数不是特征维度。拿到压缩包后第一步不是马上跑训练而是先搞清楚你要用哪条特征线这决定了后续所有模型配置。2.2 用 Librosa 提取 MFCC 族特征一段能直接改的参考实现Librosa 是 Python 生态里最常用的音频分析库extract_feats/librosa.py 做的事情核心就是下面这段逻辑。它读取 wav 文件计算梅尔频率倒谱系数再加上一阶、二阶差分让每一帧的特征从 13 维扩到 39 维。import librosa import numpy as np SR 16000 def extract_mfcc_feat(wav_path, n_mfcc13): # 统一重采样到16k避免不同数据集的采样率影响特征分布 y, _ librosa.load(wav_path, srSR) mfcc librosa.feature.mfcc( yy, srSR, n_mfccn_mfcc, n_fft400, # 25ms窗长对应的FFT点数16k采样率下400点 hop_length160, # 10ms帧移相邻帧有重叠 win_length400 ) # 一阶差分捕捉相邻帧的变化趋势二阶差分捕捉加速度 delta1 librosa.feature.delta(mfcc, order1) delta2 librosa.feature.delta(mfcc, order2) feat np.vstack([mfcc, delta1, delta2]).T # 转成 (帧数, 39) 的序列 return feat这里几个参数是 SER 里的通用配置。n_mfcc 取 13 是 HTK 时代的惯用值n_fft400 对应 25ms 窗长hop_length160 对应 10ms 帧移这两个值保证频谱的时间分辨率足够捕捉音节级的情感起伏。返回的形状是 (帧数, 39)后面 CNN1D 把它当二维输入LSTM 把它当时间步序列。需要说明的是这套代码里 librosa_casia 相关特征文件就是这条管线的产物。CASIA 是中文情感语音库中文比英文更依赖声调变化MFCC 加差分刚好能吃到这部分信息。如果你想换成自己的数据集只需要保证录音是 wav、单声道、16k 采样率然后对每个文件调用这个函数把返回的序列存成 numpy 数组就行。2.3 OpenSMILE IS09 特征集标准化配置比你自己提的特征更省心OpenSMILE 是开源音频特征提取工具extract_feats/opensmile.py 调用的是 IS09_emotion 配置这是 INTERSPEECH 2009 情感挑战赛用的标准特征集每组音频输出一个固定维度的统计特征向量。SMILExtract -C config/IS09_emotion.conf -I audio.wav -O opensmile_features.csv这条命令的意思很直白-C 指定配置文件-I 指定输入音频-O 指定输出 CSV。IS09_emotion 配置会先按 10ms 帧移计算 16 个低级描述符比如 MFCC、基频 F0、发声概率、过零率这些然后对这 16 个序列各做 24 种统计函数包括均值、标准差、峰度、偏度、分位数、线性回归系数等最终拼成一个 384 维的向量。用 OpenSMILE 的好处是特征定义完全固定别人用同一份配置提出来的特征可以直接和你对比这在毕设答辩里是加分项。opensmile_casia_is09、opensmile_savee_ravdess 这两个目录名里的 is09 就表明它们是用这套标准配置生成的。缺点是 384 维里有很多冗余维度对 SVM 这类模型影响不大但对深度模型一般建议先标准化再进网络后面训练环节会看到具体处理方式。2.4 features 目录怎么读文件后缀决定了加载方式features 目录下能看到几种不同格式的特征文件它们的加载方式完全不一样我先用一张表把对应关系理清楚。文件/目录格式内容与加载方式train_opensmile_savee_ravdess.csvCSV 文本OpenSMILE IS09 特征行是样本列是 384 维特征加一个标签列pandas 直接读train_opensmile_casia.csvCSV 文本OpenSMILE 特征规则同上train_librosa_casia.ppickle 序列化Librosa 特征序列每个样本是 (帧数, 39) 的数组pickle.load 读train_opensmile_emodb.csvCSV 文本OpenSMILE 特征7 分类标签6-category/opensmile_casia_is09目录按目录组织的 OpenSMILE 特征与标签训练脚本按目录扫描提示.p 文件是 pickle 格式不要用 pandas.read_csv 去读。我一般用 pickle.load 打开后先打印类型确认是 dict 还是 list再决定怎么组织成训练集。数据集的组合也值得注意SAVEE 和 RAVDESS 都是英文情感语音库两个合在一起做 3 分类CASIA 中文库单独做 6 分类EMODB 德语库单独做 7 分类。这种不同数据集不同类别数的设计本质上是给多模型融合制造了多个独立实验场景。训练时先选一个场景跑通再横向对比特征和模型的组合效果整个系统的可玩性就在这。3. 模型侧CNN1D、LSTM、SVM、MLP 分别解决什么问题3.1 models 目录的组织方式先理解 base.py 这个壳子打开 models 目录你会发现它不是一堆散落的训练脚本而是分了三层base.py 定义公共骨架ml.py 放 SVM 和 MLPdnn 子目录里放深度模型实现dnn.py 是基础网络结构cnn.py 和 lstm.py 各自实现一维卷积和长短期记忆网络。这种组织方式和实际工程里的模型工厂模式比较接近加一个模型只需要继承 base 类实现 train、predict、save、load 四个方法。这种设计的直接好处是训练脚本 train.py 不需要为每个模型写一遍训练逻辑。它只认 base 类暴露的接口拿到配置文件里的 model_name 字段后去模型注册表里找对应的类实例化后统一调用接口。很多毕设代码是复制粘贴四份训练脚本改一个模型其他三处跟着改这一套没有这个问题。对你来说后续想加注意力机制或者 Transformer 编码器照 cnn.py 的格式写一个新文件在注册表里登记就能接入现有流程不用动 train.py 主逻辑。3.2 CNN1D把特征当序列做局部卷积CNN1D 处理语音情感特征的方式是把 (帧数, 特征维数) 看成一个单通道的时序图卷积核沿时间维度滑动提取局部模式。比如愤怒情绪往往伴随短时能量骤升这个模式在 MFCC 序列上就是一个短促的局部突变一维卷积能稳定捕获这类局部特征。from keras.models import Sequential from keras.layers import Conv1D, MaxPooling1D, GlobalMaxPooling1D, Dense, Dropout def build_cnn1d(input_shape, num_classes): model Sequential([ Conv1D(filters64, kernel_size3, activationrelu, input_shapeinput_shape), MaxPooling1D(pool_size2), Conv1D(filters128, kernel_size5, activationrelu), GlobalMaxPooling1D(), Dense(64, activationrelu), Dropout(0.5), Dense(num_classes, activationsoftmax) ]) model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy]) return model注意这里用 GlobalMaxPooling1D 而不是 Flatten这是针对可变帧长的处理技巧。SAVEE 和 RAVDESS 的音频长度不统一Librosa 提出来的帧数就不一样全局池化把每个卷积核在时间维上的最大值取出来输出的特征维度就不依赖输入帧长了。如果你复现时发现维度 mismatch多半是帧长没对齐。dropout 取 0.5 是偏保守的配置小数据集上能明显压住过拟合。3.3 LSTM吃时序上下文但别喂整段音频LSTM 在情感识别里的价值是建模长时间上下文一个句子前半段的平静和后半段的爆发合在一起才是完整的情感表达。checkpoints 里有 LSTM_OPENSMILE_IS10.h5 和 LSTM_LIBROSA_IS10.h5说明 LSTM 同时覆盖了两条特征线。from keras.models import Sequential from keras.layers import LSTM, Dense, Dropout, Masking def build_lstm(input_shape, num_classes): model Sequential([ Masking(mask_value0., input_shapeinput_shape), LSTM(128, return_sequencesFalse), Dropout(0.5), Dense(64, activationrelu), Dense(num_classes, activationsoftmax) ]) model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy]) return model这里加了一层 Masking作用是让 padding 出来的全零帧不参与 LSTM 计算。不同音频帧数不一样训练时通常按 batch 内最大帧数补齐补齐部分全是 0如果不屏蔽LSTM 会把这一堆 0 也当成有效输入学出一堆奇怪的状态。常见做法是截断到固定长度比如 200 帧不够的补零。LSTM 隐状态维度取 128在 6 分类任务上是一个平衡表达能力和训练速度的选择。3.4 SVM 与 MLP小样本场景下深度模型不一定是冠军这套资源同时保留传统模型这个设计在情感识别里非常务实。深度学习在小样本、短音频任务上不一定打得过调好核函数的 SVM。SAVEE 和 RAVDESS 合并后的样本量通常也就几百上千条LSTM 在这种量级下很容易过拟合而 SVM 配合 RBF 核在 384 维 IS09 特征上往往能拿到非常稳的准确率。models/ml.py 里 SVM 和 MLP 共用一套数据加载逻辑区别只是分类器SVM 用 sklearn 的 SVC 配 RBF 核概率输出需要设置 probabilityTrueMLP 用 MLPClassifier隐藏层取 (128, 64)。checkpoints 里 .m 后缀的文件就是传统模型持久化出来的参数文件和 .h5 的加载方式完全不同SCALER_*.m 是跟着训练集拟合出的标准化器预测环节必须带上。所谓多模型融合在这套系统里的落地方式分两层。第一层是特征融合同一个模型分别吃 Librosa 和 OpenSMILE 特征得到结构相同但参数不同的模型。第二层是决策融合预测时把 SVM、MLP、LSTM、CNN1D 各自输出的类别概率按投票或者加权平均合并。我在实际使用时会把深度模型和传统模型的分数直接取平均一般比单模型高 2 到 4 个百分点这个涨幅在情感识别这种强主观任务里已经属于明显提升。4. 训练与预测从 yaml 配置文件到 checkpoint 的完整闭环4.1 配置文件四个 yaml 分别控制什么configs 目录下有 svm.yaml、mlp.yaml、lstm.yaml、cnn1d.yaml 四个文件训练脚本只读 yaml不改代码就能切换模型和特征。这套设计的可复现性好换数据集、换模型时不用到处找魔法数字。下面以 lstm.yaml 为例feat_type: opensmile_is09 data_path: features/6-category/opensmile_casia_is09 model_name: lstm num_classes: 6 epochs: 80 batch_size: 32 lr: 0.001 hidden_units: 128 save_path: checkpoints/LSTM_OPENSMILE_IS10.h5feat_type 决定走 OpenSMILE 还是 Librosa 特征线data_path 指向对应的特征目录save_path 是模型保存位置。改配置时有三个坑要注意。第一num_classes 必须和数据集的类别数一致比如用 7-category 的 EMODB 特征就填 7。第二epochs 和 lr 要配合调拿 CNN 的训练参数直接训 LSTM大概率训不满就发散LSTM 我一般把 lr 压到 0.001 以下。第三save_path 的后缀要符合模型类型Keras 模型存 .h5sklearn 模型存 .m写反了加载时会直接报错。4.2 训练脚本的完整流程train.py 按什么顺序跑train.py 的执行流程可以归纳为五步读 yaml 配置加载特征标准化划分训练验证集训练并保存模型。其中标准化这个环节最容易被忽略。IS09 特征的 384 个维度取值范围差异很大有些维度是基频相关值量级是几百有些是概率值量级在 0 到 1 之间。不标准化直接喂 SVMRBF 核的距离计算会被大数值维度主导小数值维度直接失去作用。pip install -r requirements.txt python train.py --config configs/cnn1d.yamlrequirements.txt 里覆盖了 keras、tensorflow、librosa、scikit-learn、pandas、pyyaml 这些基础依赖。跑之前建议确认一下 Python 版本Keras 的老接口在 Python 3.10 以上的环境里偶尔会有兼容性报错我一般用 Python 3.8 或 3.9 的虚拟环境。训练完成后checkpoints 目录里会出现三类文件.h5 是 Keras 完整模型包含结构加权重.json 是单独序列化的模型结构.m 是 sklearn 模型的持久化文件。SCALER 文件不要删预测阶段加载模型之后必须用同一个 scaler 转换特征否则输入分布不一致准确率会明显掉。数据集划分这里我建议从原始特征里手动留出一部分做验证集。常见的划分比例是 8:2但如果某个情感类别的样本量很少直接随机切容易把稀有类别全切到验证集里。更稳的做法是按类别分层抽样保证每个情感在训练集和验证集中占比一致。这套代码支持你先把特征读出来自己切分再交给训练流程毕设里这个细节写进论文会显得你考虑过数据分布问题。4.3 预测流程predict.py 的使用与模型匹配问题predict.py 的使用方式跟训练脚本类似传一个 wav 路径和配置文件即可。它的内部逻辑是先按配置里的 feat_type 提取特征再加载对应的 scaler 和模型最后输出每个情感类别的概率。python predict.py --wav voice/test_happy.wav --config configs/lstm.yaml这里最常翻车的点是模型和特征类型不匹配。configs/lstm.yaml 里如果 feat_type 写的是 opensmile_is09但实际拿 LSTM_LIBROSA_IS10.h5 来预测输入维度一定对不上。我自己踩过一次症状是模型加载成功但 predict 时维度报错查了半天才发现 checkpoint 文件名里的 LIBROSA 和 OPENSMILE 已经标明了特征线配置文件里必须严格对应。新加音频文件时最好也把音频转成和训练集一致的格式wav、单声道、16k 采样率这是特征提取管线能正常工作的前提。如果拿一个 44.1k 采样率的 mp3 直接丢进去先不说特征分布偏移OpenSMILE 在解析非标准格式时就可能报错。我一般先统一转格式再预测比在代码里做兼容省事得多。5. 避坑与常见问题复现这套代码最容易翻车的五个点这一章记的是我实际复现时踩过的坑每一条都是真实报错和排查记录。情感识别项目的坑往往不在模型结构而在数据与特征管线因为模型结构大家都用熟了特征对齐这种细节反而最容易卡住。以下条目按现象 — 原因 — 解决的顺序写你可以直接对照排查。5.1 训练时 loss 变成 nan现象epoch 才跑两三个loss 就变成 nanacc 直接归零。原因最常见的是学习率偏大ADAM 在 lr0.01 时对小数据集很容易冲过头另一个原因是特征里有 NaN 或无穷值个别样本时长太短导致某个 MFCC 计算失败。解决先检查特征文件里有没有 nanpandas 读进来的 CSV 用 df.isna().sum().sum() 看一眼。然后把 lr 降到 0.001 或 0.0005训练前做一次 StandardScaler。这套资源里 SCALER 文件的存在就是这个目的规范化这一步不能省。5.2 OpenSMILE 提示找不到配置文件现象运行 extract_feats/opensmile.py 报错 unable to open config file。原因配置文件用的是相对路径而命令行工作目录不在项目根目录。Windows 下不同盘符切换时相对路径更容易失效常见于把代码拷到新机器后直接跑。解决直接用绝对路径。我一般把 OpenSMILE 的安装路径和 IS09_emotion.conf 的路径都写死成常量放在 opensmile.py 开头避免每次换目录都折腾。如果你不用 OpenSMILE直接用 features 目录里现成的 CSV 特征也能绕过这个问题。5.3 LSTM 训练极慢而且验证准确率不涨现象一个 epoch 要好几分钟跑几十个 epoch 准确率还在 50% 附近晃损失不降。原因直接把超长特征序列丢进 LSTM时间步太长梯度传播困难。Librosa 特征线一帧是 39 维一段 3 秒音频能提出 300 帧如果按整段序列训练LSTM 展开步数太长。解决给序列设一个最大长度。Librosa 特征线按 200 帧截断不够的补零OpenSMILE 特征线本身已经是固定长度的统计向量不需要截断。截断后训练速度和收敛速度都能恢复正常。5.4 predict 时输入维度对不上现象模型加载成功预测时报 Input 0 is incompatible with layer 之类的维度错误。原因训练时用的特征类型和预测时不一致或者配置文件里 num_classes 和模型输出层维度不一致。解决predict 时严格使用训练时的 yaml 配置别手动改 num_classes。加载 checkpoint 后先用 model.summary() 看一眼输出层维度确认 num_classes 匹配再预测。另外如果换了模型文件但没换配置文件特征线不一致也会触发同样问题。5.5 7 分类的准确率特别低现象EMODB 数据集识别率只有三十几比随机略高怎么调参都上不去。原因EMODB 的标签是德语情感缩写比如 W 是 angryT 是 neutral直接拿缩写当类别名会让模型混淆另外愤怒和害怕在声学特征上本来就高度重叠这是数据集本身的主观标注问题。解决建立从缩写到英文情感的映射表检查类别分布确认没有把某个样本错误归并。情感识别里类别混淆是常态愤怒和害怕分不清、高兴和惊讶分不清都很常见不必追求完美但标签映射错误属于低级错误必须先排除。6. 把系统往前推一步用混淆矩阵验证、用投票机制融合6.1 用 plot.py 画出混淆矩阵utils/plot.py 提供了一个画图入口。验证模型不能只看整体准确率情感识别里高兴被识别成中性和中性被识别成愤怒的性质完全不一样。我习惯把测试集的真实标签和预测结果拿出来生成混淆矩阵重点看对角线以外哪里最密。from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay import matplotlib.pyplot as plt cm confusion_matrix(y_true, y_pred) ConfusionMatrixDisplay(cm).plot() plt.savefig(confusion_matrix.png, dpi150)如果发现某两个类别互相打架常见处理是合并语义相近的类别比如把惊讶归入高兴把厌烦归入悲伤。这在情感识别实验里是允许的因为数据集的标注本身就带主观性不同数据集的类别定义也不完全一致。6.2 最简单的融合扩展多模型概率平均要验证多模型融合的价值不用写复杂代码把 SVM、LSTM、CNN1D 各自预测出的类别概率做一个平均就行。import numpy as np probs np.array([svm_prob, lstm_prob, cnn_prob]) # 每个都是 (样本数, 类别数) final probs.mean(axis0) y_pred final.argmax(axis1)这个方法在多数单模型效果一般的场景下能把准确率稳住尤其是两个模型在错误样本上不重叠的时候。从那以后我每次拿到新的 SER 项目都会先把最小路径跑通、画出混淆矩阵、再谈融合否则叠加的模型越多排查维度 mismatch 的成本越高。这套资源的好处是训练好的 checkpoint 已经齐备你只需要把 predict 阶段的输出接上这段平均逻辑就能直接对比融合前后的准确率。希望帮到你。本文还有配套的精品资源点击获取