简介这份资源面向计算机、人工智能、通信工程等专业的高校学生与科研人员提供一套基于Python的多模态情感识别完整实现将语音与文本两种模态结合并借助大模型微调思路完成情感分类任务可作为毕业设计、课程设计或项目立项的参考方案。压缩包共6个文件以4个py脚本为核心涵盖BERT与wav2vec2特征融合、训练流程及音频编码与文本分词等工具模块另附1个md说明文档和1个txt环境配置记录整体约12KB结构紧凑便于快速理解工程脉络。目前已有58人学习关注。读者可从中获取多模态特征对齐与模型微调的关键代码逻辑、训练脚本组织方式以及环境依赖说明既能直接运行验证也可在此基础上替换数据集或调整融合策略以扩展功能适合具备一定Python与深度学习基础的学习者进阶实践。1. 多模态情感识别毕设语音和文本怎么在 Python 里拧成一股绳很多做毕设的同学一开始都会把「多模态情感识别」想简单了语音丢给一个模型、文本丢给另一个模型两个结果一平均就以为是大模型 finetune。真跑起来才发现语音里的叹气、停顿、音高变化和文本里的反讽、否定、语气词经常给出互相打架的信号简单加权反而比单模态还差。这个标题要解决的核心问题就是让语音和文本在同一个 Python 工程里被统一处理、对齐、融合再用预训练大模型做微调最终输出一个可解释的情感类别。它适合正在做毕设、需要一套能跑通、能写进论文、还能在答辩时讲清楚融合逻辑的本科生和研究生。下面我按自己带项目的顺序把数据、模型、训练、避坑和进阶验证一层层拆开。2. 先定融合架构早期融合、晚期融合还是交叉注意力2.1 三种融合方式在毕设里的真实取舍多模态融合不是越复杂越好毕设周期通常只有两三个月选错架构会直接卡在训练不收敛上。常见做法有三类早期融合把语音特征和文本特征在输入层拼接实现最简单但对齐要求极高语音和文本长度不一致时基本没法直接拼晚期融合各自过模型最后在决策层加权或投票工程上最稳缺点是学不到跨模态交互交叉注意力融合让文本 token 去查询语音帧、语音帧去查询文本 token能捕捉「说到某个词时语气突然上扬」这类线索效果通常最好但显存和调参成本也最高。我一般建议毕设走「文本为主、语音为辅的交叉注意力」路线文本用预训练语言模型编码语音用预训练语音模型抽帧级特征再让文本表示去 attend 语音帧。这样即使语音数据量小也不会把文本侧已经学好的语义带偏。选型理由很直接文本情感信号密度高语音信号稀疏但补充性强主辅结构符合数据分布。2.2 用 Python 搭出双塔编码器的最小骨架下面这段代码只做一件事把一条样本的文本和语音分别编码成定长向量并保留语音帧序列供后续交叉注意力使用。它不涉及训练先确保前向能跑通。import torch import torch.nn as nn from transformers import AutoModel, AutoConfig class DualEncoder(nn.Module): def __init__(self, text_model_name, speech_input_dim768, hidden256): super().__init__() # 文本塔直接用预训练语言模型输出 last_hidden_state self.text_encoder AutoModel.from_pretrained(text_model_name) text_dim self.text_encoder.config.hidden_size # 语音塔这里用线性层模拟帧级特征投影实际可换成 Wav2Vec2/Whisper encoder self.speech_proj nn.Sequential( nn.Linear(speech_input_dim, hidden), nn.ReLU(), nn.Linear(hidden, text_dim) # 投影到和文本同维度方便做注意力 ) self.text_proj nn.Linear(text_dim, text_dim) def forward(self, input_ids, attention_mask, speech_feats, speech_mask): # speech_feats: [B, T_s, D_s]speech_mask: [B, T_s] text_out self.text_encoder(input_idsinput_ids, attention_maskattention_mask) text_seq self.text_proj(text_out.last_hidden_state) # [B, T_t, D] speech_seq self.speech_proj(speech_feats) # [B, T_s, D] return text_seq, speech_seq, attention_mask, speech_mask逻辑说明文本塔直接复用 HuggingFace 的预训练权重省去从零训练语音塔先用线性投影把帧级特征映射到与文本相同的维度这是做交叉注意力的前提。参数上speech_input_dim要和你实际提取的语音特征维度一致比如 Wav2Vec2 base 是 768如果用的是 MFCC 拼接统计量则可能是几十维需要改。hidden只是中间层宽度显存紧张就降到 128。注意speech_mask必须传进来否则 padding 帧会参与注意力训练时 loss 会异常震荡。2.3 交叉注意力融合层怎么写才不翻车有了双塔输出融合层就是让文本序列和语音序列互相看。下面是一个单向的文本查询语音的注意力模块比双向实现更省显存毕设够用。class CrossAttentionFusion(nn.Module): def __init__(self, dim768, num_heads8, dropout0.1): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads, dropoutdropout, batch_firstTrue) self.norm nn.LayerNorm(dim) self.dropout nn.Dropout(dropout) def forward(self, text_seq, speech_seq, speech_mask): # query文本, keyvalue语音speech_mask 中 True 表示有效帧 key_padding_mask ~speech_mask.bool() # MultiheadAttention 要求 True 表示忽略 attn_out, _ self.attn(text_seq, speech_seq, speech_seq, key_padding_maskkey_padding_mask) out self.norm(text_seq self.dropout(attn_out)) # 残差连接 return out逻辑说明key_padding_mask的布尔含义容易搞反PyTorch 里 True 表示「屏蔽掉」所以要对有效 mask 取反。残差连接和 LayerNorm 不能省否则深层的注意力输出会把文本原始语义冲淡。参数上num_heads保持 8 或 12dropout在数据量小于五千条时调到 0.2 到 0.3。如果训练时发现 attention 权重几乎均匀分布说明语音特征没提供区分度要回头检查语音提取环节。3. 数据准备语音转文本、文本预处理和特征对齐3.1 语音转文本不是必须但强烈建议做很多毕设数据集只给音频和标签没有转写文本。这时候有两条路一是用离线语音识别模型先转出文本再走文本塔二是直接拿语音帧特征当「语音模态」文本模态用数据集自带的转写。如果数据集本身没有文本我建议至少用离线语音包跑一遍转写因为纯语音情感识别在毕设里很难讲出多模态的故事。转写时注意保留时间戳后面做帧级对齐会用到。# 以 transformers 的自动语音识别 pipeline 为例离线加载本地模型 from transformers import pipeline asr pipeline(automatic-speech-recognition, model你的本地ASR模型路径, device0) result asr(sample.wav, return_timestampsword) print(result[text]) print(result[chunks][:3]) # 每个词的时间戳逻辑说明return_timestampsword会返回词级时间戳这是后续把文本 token 和语音帧对齐的关键。参数上device0表示用第一块 GPU没有 GPU 就删掉。注意离线模型路径要提前下载好不要依赖运行时联网。转写文本里会有标点和大小写不一致下一步文本预处理要统一。3.2 文本预处理别把情感词洗没了文本预处理常见做法是去停用词、去标点、转小写。但在情感识别里否定词、程度副词、感叹号本身就是强信号洗得太狠反而掉点。我一般只做三件事统一全角半角、把连续重复标点压缩成一个、保留否定词和程度词。分词直接用预训练模型对应的 tokenizer不要自己用 jieba 切完再喂给 BERT那样会破坏子词边界。import re from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) def clean_text(text): text text.strip() text re.sub(r[!]{2,}, , text) # 连续感叹号压缩 text re.sub(r[?]{2,}, , text) text re.sub(r\s, , text) return text def encode_text(text, max_len128): text clean_text(text) enc tokenizer(text, paddingmax_length, truncationTrue, max_lengthmax_len, return_tensorspt) return enc[input_ids], enc[attention_mask]逻辑说明clean_text只做轻量归一化不删除任何实词。max_length128对大多数情感短句够用如果数据集里长评论多可以加到 256但显存会线性增长。注意paddingmax_length在训练时方便批量拼接推理时可以改成longest。3.3 语音特征提取与帧级对齐的实操参数语音侧我一般用预训练语音模型抽帧级特征而不是手工 MFCC。手工特征在跨说话人场景下方差很大预训练模型鲁棒性好得多。提取时统一采样率到 16kHz帧移 20ms这样一秒有 50 帧。文本侧一个 token 大约对应几百毫秒所以对齐时通常把语音帧下采样到和文本 token 数量接近或者直接用注意力让模型自己学对齐不强行一一对应。参数常用值说明采样率16000 Hz预训练语音模型标准输入帧移20 ms决定帧率50 帧/秒最大音频时长10 s超长截断避免显存爆炸语音特征维度768与文本塔 hidden 对齐文本最大长度128覆盖绝大多数情感句提示如果音频超过 10 秒不要直接截断先按静音段切分取能量最高的片段否则可能把关键情感句切掉。4. 大模型 finetune从冻结到解冻的训练策略4.1 为什么先冻结再解冻毕设数据量通常几千条直接全量微调预训练大模型会过拟合验证集 loss 先降后升。我一般分两阶段第一阶段冻结文本塔和语音塔只训练融合层和分类头学习率设 1e-3第二阶段解冻顶部两到四层 Transformer学习率降到 1e-5 到 2e-5。这样既能让融合层先学会对齐又不会一上来就把预训练语义破坏掉。def set_freeze(model, freezeTrue): # 冻结文本塔和语音塔主干 for name, param in model.text_encoder.named_parameters(): param.requires_grad not freeze for param in model.speech_proj.parameters(): param.requires_grad not freeze # 第一阶段 set_freeze(model, freezeTrue) optimizer torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr1e-3) # 第二阶段解冻文本塔顶部 4 层 set_freeze(model, freezeTrue) for layer in model.text_encoder.encoder.layer[-4:]: for param in layer.parameters(): param.requires_grad True optimizer torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr2e-5)逻辑说明filter(lambda p: p.requires_grad, ...)确保优化器只更新需要梯度的参数避免冻结参数被 weight decay 影响。第二阶段学习率必须显著降低否则预训练权重会被小数据集带偏。如果显存不够可以只解冻最后两层。4.2 分类头和损失函数的选择融合后的文本序列取[CLS]位置或做平均池化接一个线性分类头。情感类别通常是三分类或四分类用交叉熵就够。如果类别不平衡加类别权重。不要用 Focal Loss 当默认除非你确认难易样本分布极端否则调参成本很高。class EmotionClassifier(nn.Module): def __init__(self, dim768, num_classes4, dropout0.3): super().__init__() self.dropout nn.Dropout(dropout) self.classifier nn.Linear(dim, num_classes) def forward(self, fused_text_seq, text_mask): # 用 mask 做平均池化避免 padding 影响 mask text_mask.unsqueeze(-1).float() pooled (fused_text_seq * mask).sum(1) / mask.sum(1).clamp(min1e-6) return self.classifier(self.dropout(pooled))逻辑说明平均池化比直接取[CLS]更稳因为融合后的[CLS]可能被语音注意力稀释。dropout0.3在小数据集上是常规操作。clamp(min1e-6)防止除零。4.3 训练循环里必须监控的三个量训练时不要只看 loss。我一般同时打印训练 loss、验证集加权 F1、以及语音注意力权重的熵。如果注意力熵接近均匀分布的最大值说明语音模态没被用起来要检查语音特征是否被正确 mask或者语音塔学习率是否太低。验证 F1 连续三轮不升就早停毕设没必要死磕。from sklearn.metrics import f1_score def evaluate(model, dataloader, device): model.eval() preds, labels [], [] with torch.no_grad(): for batch in dataloader: batch {k: v.to(device) for k, v in batch.items()} logits model(**batch) preds.extend(logits.argmax(-1).cpu().tolist()) labels.extend(batch[labels].cpu().tolist()) return f1_score(labels, preds, averageweighted)逻辑说明averageweighted按类别样本数加权比 macro 更能反映整体表现。如果类别极不平衡再补看 macro F1。5. 避坑与排查多模态情感识别毕设里最容易翻车的五件事5.1 语音和文本标签对不上现象训练 loss 正常下降但验证集准确率始终在随机水平附近。原因音频文件和文本转写来自不同样本或者数据清洗时打乱了顺序。解决在 Dataset 里用同一个样本 ID 同时索引音频路径和文本并在__getitem__里断言两者标签一致不一致直接抛异常。5.2 注意力 mask 方向搞反现象模型对短音频表现正常对长音频padding 多预测全部偏向某一类。原因key_padding_mask的 True/False 含义记反导致有效帧被屏蔽、padding 帧参与注意力。解决打印一次 mask 的sum()确认有效帧数量与音频实际帧数一致再检查~speech_mask.bool()是否写对。5.3 解冻后学习率没降现象第二阶段一开始验证 loss 剧烈上升几个 step 后模型完全崩溃。原因解冻预训练层后仍沿用第一阶段 1e-3 的学习率。解决解冻时新建优化器学习率设为 1e-5 到 2e-5并加 warmup前 10% step 线性升温。5.4 语音特征提取时采样率不一致现象同一句话在不同机器上提取的特征差异很大模型换环境就掉点。原因有的音频 44.1kHz有的 16kHz重采样库默认参数不同。解决在 Dataset 初始化时统一用torchaudio或librosa重采样到 16kHz并固定res_type把重采样后的音频缓存到磁盘避免每次训练重复计算。5.5 验证集参与调参导致过拟合现象论文里报告验证集 F1 很高换一批测试数据掉十几个点。原因反复用验证集调超参验证集信息泄漏。解决从训练集里再切一个小验证集用于调参原始验证集只在最后评估一次测试集全程不碰。6. 进阶验证用消融和注意力可视化证明融合真的有用毕设答辩时老师最常问的一句话是「你怎么证明语音模态起了作用」光报一个总体 F1 不够要做消融。我一般跑三组纯文本、纯语音、多模态融合在同一个测试集上对比。如果多模态比纯文本高 2 到 5 个点且纯语音明显低说明融合有效。如果多模态和纯文本差不多就要检查语音分支是不是被模型忽略了。# 消融实验把语音输入置零观察性能变化 def ablate_speech(model, batch, device): batch {k: v.to(device) for k, v in batch.items()} batch[speech_feats] torch.zeros_like(batch[speech_feats]) batch[speech_mask] torch.zeros_like(batch[speech_mask]) with torch.no_grad(): logits model(**batch) return logits.argmax(-1)逻辑说明把语音特征和 mask 全部置零相当于关掉语音分支。对比正常前向和消融后的预测差异差异越大说明语音贡献越大。注意 mask 也要置零否则全零特征仍可能被注意力选中。另一个技巧是导出交叉注意力权重看文本里哪些词对语音帧的注意力高。如果「但是」「居然」这类转折词对应高注意力说明模型学到了跨模态线索这个图放进论文里很有说服力。我自己的习惯是每做完一个多模态项目先跑消融再写结论没有消融数据的提升一律不信。希望帮到你。本文还有配套的精品资源点击获取