简介面向毕业设计、期末大作业与课程设计场景的多模态情感分析系统基于Python开发支持文本、语音、图像、视频四种输入形式。项目采用多模态融合思路覆盖数据预处理、特征提取、模型训练与结果可视化等环节代码结构清晰、注释完整并附带项目文档与数据集适合机器学习初学者参考学习也可作为完整课设方案直接使用。压缩包共20个文件以pickle数据文件、py源码、zip数据集压缩包、pdf文档和md说明为主整体大小约56.91MB目录涵盖imi/mosi/mosei等公开数据集及对应处理代码便于按模块理解数据装配与模型构建流程。目前已有96人浏览学习该资源适合需要快速搭建多模态分析项目、完成课程报告或答辩演示的开发者。资源经调试可正常运行文档中另含流程图与结果示例可减少上手阻力帮助使用者快速掌握从数据到情感判别结果的完整链路。1. 多模态情感分析系统为什么只靠文本通道在真实场景总是不够用今年上半年我接过一个客服质检需求工单文本只有三四十个词看不出情绪但配合录音能听出客户已经在上火。把文本、语音两路特征合并后愤怒识别的召回率从四五成提到了六成出头——这就是多模态情感分析系统的价值把文本、语音、图像、视频四类输入统一处理汇成一个可解释的情感判断而不是每个模态各给一个孤立分数。这类项目通常以源码文档数据集的形式打包拿到手能直接复现多模态融合、替换自己的数据重训。适合做毕设的学生也适合做短文本舆情、客服质检、影视分析的工程师。下面按特征提取、核心代码、训练参数、避坑细节的顺序拆开。2. 四路特征怎么提文本、语音、图像、视频各自的家底多模态情感分析的难点从来不在“模型有多深”而在四个模态的数据形态完全不一样。文本是离散的 token 序列语音是波形采样点图像是像素矩阵视频是带时间轴的一组图像。这一章先把四路特征从原材料里抽出来的方案讲清楚因为后面所有融合和参数调节都建立在这步之上。2.1 文本情感特征CLS 向量与词典特征拼接常见做法是直接用预训练语言模型拿句向量。以 RoBERTa 为例输入“这个方案看着还行”取最后一层 [CLS] 位置的输出作为整句表示维度是 768。单独用 BERT 类模型已经能覆盖大部分文本情感信息但在多模态系统里我一般不会只靠它预训练模型对否定、反讽的捕捉并不总是可靠所以再拼接一组传统词典特征。词典特征指统计情感词个数、否定词个数、程度副词的加权和以及感叹号数量这类显式信号。维度很小一般 10 到 20 维但它能补充预训练模型在小样本场景下的盲区。两者拼接后文本通道变成一个[768 k]维向量k 取 12 左右就够。特征提取时几个参数比较关键max_len 设 128过短会截掉转折信息过长在 batch 里浪费显存嵌入层和编码层保持预训练权重不变只在后面挂一个 128 维的投影层做跨模态对齐。这里不建议用 LSTM 重训多模态系统的数据量通常喂不饱一个纯文本语言模型。2.2 语音特征eGeMAPS 低维特征和 mel 谱图怎么选语音通道我见过两种主流做法适用边界很清楚。第一种是用 openSMILE 提取 eGeMAPS 的 88 维低层描述符包含斜率、响度、能量相关统计量。优点是参数少、可解释、计算轻适合总样本量只有几千条的小数据集。缺点是它把时间结构压平了语气里的先后变化保留得很少。第二种是把波形转成 mel 谱图再用一层小 CNN 或直接把谱图序列过 Transformer。mel 谱图保留了时频结构对“从平静到爆发”这类过程性情绪更敏感。如果项目里语音情绪种类多、上下文长我优先做 mel 谱图方案。mel 谱图的参数我的起点是 16kHz 采样率、25ms 窗长、10ms 帧移、80 个 mel bins。时长两秒的语音会得到约 199 帧的谱图序列这个长度直接进 Transformer 有些浪费可以先在时间维上用 1D 卷积做 4 倍降采样再进后面的时序模块。无论走哪条路最后都把语音特征投影到和文本相同的表示维度比如 256 维方便后续融合。2.3 图像特征人脸表情概率分布比 CNN 特征更好接这里的图像主要指包含人脸的静帧。直接拿一张图过 ResNet50取出最后一个池化层的 2048 维特征不是不可以但问题很明显这个特征主要描述“图片里有什么”而不是“人是什么情绪”。多模态系统要的是与情感语义对齐的表示所以我更推荐先跑一个人脸检测和表情识别输出 7 类概率分布生气、厌恶、害怕、开心、难过、惊讶、中性。概率分布有三个好处维度固定为 7和文本、语音的投影层做向量拼接时几乎不需要额外变换每个值天然在 0 到 1 之间不会像深层卷积特征那样动辄上百的尺度导致后续融合时某一维把其他模态压死结果可解释测试出错时能直接看到“原来是开心被识别成了惊讶”。如果不想引入额外人脸模型也可以用 CLIP 或 ViT 的 [CLS] 向量接投影层但样本量小的时候大概率不如表情概率分布可靠。2.4 视频通道视频人物情感分析常踩的坑是整段塞进模型视频人物情感分析容易犯的错是把整个视频逐帧过 3D CNN这在离线实验里可行但显存和训练时间都难以接受而且短视频情感往往只体现在关键几帧的表情变化上。我一般先把视频按 2fps 抽帧再通过人脸检测把最大人脸裁剪成 224×224固定取 16 帧组成一个片段如果视频不足 16 帧做首尾复制或插值补齐。16 是这个系统常用的折中值太短会丢掉表情渐变太长会让模型学到的多是人脸的轻微抖动而不是情绪。抽完帧后每一帧独立送进表情识别模型得到 7 类概率这样一个短视频在图像通道就变成 16×7 的序列再在后面过一个轻量级 Transformer 或直接做平均池化变成 7 维。注意“平均池化”不是万能解它会把最强烈的几帧表情稀释掉如果你发现预测结果总比人工标注温和就把平均池化换成交权平均权重来自一个可学习的注意力层。2.5 模态对齐时间戳不统一后面全是空谈四路特征各自提取完之后必须回到同一个时间参考系。常见坑是文本和语音来自不同记录系统文本记了“开始时间 10:05:03”语音文件却是从 10:05:00 开始录的差出来的 3 秒会让模型把上一句话的情绪配给当前音频。我在系统里统一用毫秒做时间戳并且用一个样本清单把每个模态的时间区间都显式写出来。样本清单至少包含这些列字段示例说明sample_id0001全局唯一样本号text_start_ms / text_end_ms15000 / 20000文本片段起止时间audio_start_ms / audio_end_ms15000 / 20000语音切片起止时间face_conf0.92人脸检测置信度frame_indices0,1,2,…,15抽帧序号对应视频时间点判断对齐是否正确我会在训练前写一个小的核查脚本随机抽 20 条样本把文本内容、语音波形、16 帧缩略图打在一个画面上人工扫一遍。这一步不能省因为多模态系统最常见的预测翻车根源不在模型而在喂进模型的四份数据本来就不是同一件事。如果你拿到手的数据集已经在清单里给了 start_ms 和 end_ms也别默认它正确抽查确认后再开始调参。3. 把源码拆开目录、数据流与融合模型怎么搭拿到“源码文档数据集”的项目第一反应不要去看模型文件先看目录。一个规范的工程会按配置、数据、特征、模型、训练、评估这几块来组织。下面以我习惯维护的多模态情感分析系统结构为例把每个目录为什么存在讲明白你再对照手头的源码就很容易定位问题。目录职责关键文件config/全部超参包括各模态学习率、抽帧数、特征维度train.yaml, data.yamldata/样本清单读取、数据增强、按时间戳对齐loader.py, augment.pyfeatures/四路特征离线抽取和缓存text_extractor.py, audio_extractor.py, video_extractor.pymodels/投影层、融合模块、任务头fusion.py, heads.pytrain.py训练循环跨模态 batch 构造train.pyevaluate.py消融实验和指标计算evaluate.py, metrics.py没有 config 目录、参数直接硬编码的源码我建议你顺手补一个。因为多模态实验跑一次很贵参数散落在代码里会让实验复现变成玄学。3.1 先跑离线特征缓存不要在训练时重复抽特征多模态系统最消耗资源的步骤不是反向传播而是四个模态的原始数据同时涌进显存。我在第 2 章提到的特征提取在实际工程里一定是离线完成并缓存到磁盘的。下面这段代码就是特征缓存模块的核心逻辑它在训练前把所有样本的四路特征算好存成 npz 文件。extract_text_feat、extract_audio_feat、extract_face_prob 这三个函数分别封装了 2.1 到 2.4 的抽取细节这里只展示缓存流程。# features/cache_all.py import json, numpy as np from pathlib import Path def cache_all_features(manifest_path, out_dir, frame_num16): out_dir Path(out_dir) out_dir.mkdir(parentsTrue, exist_okTrue) samples json.loads(Path(manifest_path).read_text()) for item in samples: # 每条样本四个模态的特征统一转成 float32 text_feat extract_text_feat(item[text], max_len128) # (780,) audio_feat extract_audio_feat(item[audio_path], sr16000) # (256,) face_feat extract_face_prob(item[video_path], frame_num) # (16, 7) video_feat temporal_aggregate(face_feat, methodattn) # (7,) np.savez( out_dir / f{item[sample_id]}.npz, texttext_feat.astype(float32), audioaudio_feat.astype(float32), imageface_feat.astype(float32), videovideo_feat.astype(float32), labelnp.array(item[label], dtypeint64), )逻辑说明代码按样本清单逐条读取文本、语音、视频路径分别调用对应抽取函数。注意 text_feat 这里 780 维 768 维 CLS 12 维词典特征image 保留的是 16 帧的逐帧表情概率而 video 是已经聚合过的 7 维特征这样设计是为了同时支持后面两种融合方式。参数说明frame_num 固定为 16对应第 2 章说的抽帧策略音频统一重采样到 16kHz采样率不一致会导致 mel 谱图的频率轴失真。所有特征存成 float32 而不是 float64多模态样本动辄几万条float64 会让缓存文件增大一倍精度收益几乎为零。3.2 融合模型特征投影、跨模态注意力与任务头单模态特征并行提取完之后需要进入融合网络。我采用早期与中间融合结合的结构早期融合指四路特征投影后直接拼接中间融合指在拼接之后加一层跨模态注意力让文本向量去查询语音和图像特征里与当前情绪最相关的部分。下面给出 models/fusion.py 的骨架。# models/fusion.py import torch import torch.nn as nn class CrossModalFusion(nn.Module): def __init__(self, dims, proj_dim256, num_heads4, dropout0.2): super().__init__() self.text_proj nn.Sequential( nn.Linear(dims[text], proj_dim), nn.LayerNorm(proj_dim)) self.audio_proj nn.Sequential( nn.Linear(dims[audio], proj_dim), nn.LayerNorm(proj_dim)) self.image_proj nn.Sequential( nn.Linear(dims[image], proj_dim), nn.LayerNorm(proj_dim)) self.video_proj nn.Sequential( nn.Linear(dims[video], proj_dim), nn.LayerNorm(proj_dim)) self.cross_attn nn.MultiheadAttention( embed_dimproj_dim, num_headsnum_heads, dropoutdropout, batch_firstTrue) self.classifier nn.Sequential( nn.Linear(proj_dim * 2, 128), nn.ReLU(), nn.Dropout(dropout), nn.Linear(128, 3)) self.dropout nn.Dropout(dropout) def forward(self, text, audio, image, video): t self.text_proj(text).unsqueeze(1) # (B, 1, 256) a self.audio_proj(audio).unsqueeze(1) # (B, 1, 256) i self.image_proj(image) # (B, 16, 256) 逐帧特征 v self.video_proj(video).unsqueeze(1) # (B, 1, 256) context torch.cat([a, i, v], dim1) # (B, 18, 256) attn_out, _ self.cross_attn(t, context, context) # 文本作为 query attn_out attn_out.squeeze(1) # (B, 256) fused torch.cat([t.squeeze(1), attn_out], dim-1) logits self.classifier(self.dropout(fused)) return logits逻辑说明forward 里文本向量作为查询向量语音、逐帧图像、聚合视频一起作为键值序列跨模态注意力会让文本去“挑选”其他模态里最值得参考的时间步。例如客户说了“没事”语音通道已经不耐烦图像通道某帧嘴角下撇注意力会把这些帧的权重抬高。最后分类头输入是文本投影和注意力输出的拼接因为文本通常贡献最大所以要保留一条直连路径不能被其他模态的噪声稀释。参数说明proj_dim 取 256四个模态全部投影到同一维度避免某一模态原始维度过大主导融合num_heads 取 4 对短视频足够取 8 在小样本上容易过拟合dropout 在 0.2 到 0.3 之间调。这里的分类输出为 3 类负向/中立/正向如果你的标注是 valence、arousal、dominance 三维连续值只需要把最后的 nn.Linear(128, 3) 换成输出 3 个回归值的头即可。3.3 训练入口一个 batch 里四路数据怎么拼装特征缓存好以后训练时不再读原始音频和视频只读取 npz 缓存数据装载速度会快接近一个量级。训练入口需要做成能同时拿到 text、audio、image、video 四个 key 的 dataloader模型 forward 一次消费一条样本的四路特征。# train.py 中的 Dataset 定义 from torch.utils.data import Dataset, DataLoader from pathlib import Path import numpy as np, torch class MultimodalDataset(Dataset): def __init__(self, cache_dir, labels): self.samples sorted(Path(cache_dir).glob(*.npz)) self.labels labels def __len__(self): return len(self.samples) def __getitem__(self, idx): data np.load(self.samples[idx]) return { text: torch.from_numpy(data[text]), audio: torch.from_numpy(data[audio]), image: torch.from_numpy(data[image]), video: torch.from_numpy(data[video]), label: torch.tensor(self.labels[idx], dtypetorch.long), }逻辑说明Dataset 直接读取缓存目录里的 npz 文件避免了在训练循环里调 openSMILE 或人脸模型这也是训练速度的关键。数据增强在这个方案里放在缓存之前做文本同义词替换在语料阶段完成语音加噪在抽特征时完成训练时不再做在线增强。因为多模态的增强组合空间太大在线增强会让实验变量失控。参数说明batch size 我一般从 16 起步特征缓存模式下显存占用主要来自投影层和注意力显存不够时优先减小 batch 而不是减抽帧数。DataLoader 的 num_workers 设成 CPU 核心数的一半设太多会在每个 epoch 启动阶段反复 fork 进程卡顿反而更明显。4. 训练参数与收敛技巧十几个设定把模型从玄学拉回工程多模态系统训不出来大多数时候不是架构写错了而是参数没有按模态特性去配。我的血泪经验是把四个模态塞进同一个网络、用同一套学习率和同一套增强策略是最常见的翻车原因。下面按优先级把参数设定捋一遍。4.1 学习率按模态分开文本 1e-5视觉 1e-4 起步预训练文本模型内部的特征已经很成熟学习率过大会把 BERT 这类模型学到的语义破坏掉。常见做法是文本分支用 1e-5 到 2e-5语音和图像分支用 1e-4融合层也用 1e-4。同一个优化器里按参数组区分即可# train.py 中优化器配置 optimizer torch.optim.AdamW([ {params: text_model.parameters(), lr: 1e-5}, {params: audio_model.parameters(), lr: 1e-4}, {params: image_model.parameters(), lr: 1e-4}, {params: fusion_model.parameters(), lr: 1e-4}, ], weight_decay0.01)逻辑说明这样配置的理由是文本分支如果学习率过高两三轮之后文本特征分布就会漂移而漂移的后果往往不是立刻变差而是整个融合模型不收敛。视觉分支本来就是在小数据集上微调用 1e-4 比较合适。weight_decay 设为 0.01 对融合层足够但要注意不要对 LayerNorm 的 scale 参数做 weight decay实现时把 norm 层参数排除在外。参数说明warmup 比例设 0.1总共 10 个 epoch 的话前 1 个 epoch 学习率从 0 线性爬到目标值。文本分支的 1e-5 在 warmup 阶段可以不参与因为预训练权重已经足够好。不推荐 one-cycle 这类复杂调度多模态实验一次要跑很久调度器越简单越容易复现。4.2 融合前的归一化LayerNorm 的位置比结构更重要很多翻车现场是原始特征直接 concat结果某个模态的特征值范围是 -10 到 10另一个是 0 到 1分类器实际只看到了值域大的那一路。我在第 3 章的融合代码里已经做了投影加 LayerNorm这里再强调它的位置先 Linear 投影再 LayerNorm再进注意力。BN 在融合层里不如 LayerNorm 好用因为多模态 batch 内部方差受单条样本影响大BN 的统计量波动大小 batch 下更明显。dropout 设在两个位置投影层输出之后和分类头进入前。0.2 起步如果训练集只有几千条直接调到 0.3。加 dropout 不是因为玄学而是多模态特征之间存在冗余dropout 能让模型不依赖某一个通道比如只靠文本就能分对的样本没有 dropout 时模型会偷懒忽略语音信号。4.3 损失函数离散情感用 Focal Loss连续维度用 MSE情感标注有两种主流格式对应两套损失函数选型。如果数据是情绪类别生气、开心、难过直接用交叉熵的问题是负样本往往多于正样本愤怒只占工单总量的 10%模型会倾向于全部预测中性。Focal Loss 会压低易分类样本的权重让模型被迫关注那些不好分的愤怒样本。标注形式常用损失附加约束离散类别3/5/7类Focal Lossgamma2alpha 按类别频率设置评估用 macro-F1valence-arousal 连续值MSE 或 Smooth L1希望相关度高时用 CCC 损失dominance 等有序值排序损失或回归输出层做 sigmoid 限制范围gamma 取 2 是基线alpha 设成“1 / 类别出现频率”再归一化。连续值场景我一般用 MSE但要注意单一 MSE 对整体系统性偏差不敏感例如模型所有输出都比标注低 0.2MSE 不会立刻惩罚它。这时可以叠加一个中心损失对 batch 内预测均值和标注均值做约束能把整体值域拉正。4.4 数据增强不是越多越好文本、语音、图像分开做多模态系统在线做增强的项目我基本没见跑赢过因为四个模态的增强只要有一个影响时间轴对齐就崩了。更常见的是在特征抽取前离线增强文本用同义词替换或回译语音加 10 到 20dB SNR 的空调噪声图像做水平翻转和轻微旋转视频在抽帧时随机丢弃一帧再补齐。目标是让同一个情感标签下的分布变宽而不是造出时间对不上的样本。每一路增强后的样本ID 要加后缀防止和原样本混淆。增强的另一个用途是解决数据集太小的问题。如果标注样本只有一千条先把文本做词级替换、语音做速度扰动能各扩出 2 到 3 倍再抽特征如果增强后验证集效果没有变化说明增强方向本身有问题优先换增强策略而不是继续加大倍数。5. 避坑手册多模态训练中我踩过的五个典型坑这一部分写给已经能把代码跑起来、但结果不太对劲的读者。多模态系统的失败模式比单模态多得多我按踩坑频率排序把现象、原因和解决方案都列清楚。5.1 时间戳没对齐模型把“骂人”语音配给了上一条文本现象训练曲线在某个 epoch 后突然往下掉或者融合后效果还不如单摸态文本。原因数据集的 JSON 清单里文本标记的是聊天时间语音文件开始时间是录音时间两者相差数秒如果样本构造只是按数组顺序 zip模型学到的是错误配对。解决回到第 2 章的样本清单把每个模态的起止毫秒数核对一遍写一个 20 条样本的人工抽查确认文本和语音指的是同一段内容对语音切片做 VAD 检测用有效语音起始点重新计算时间戳。这个坑我踩过三次每次都消耗一整天后来我把“抽查对齐”写进了训练前的固定步骤。5.2 加了图像通道后效果反而不如单摸态文本现象A/B 测试时文本单通道 macro-F1 0.72加图像后降到 0.68。原因图像通道输出的表情概率分布和文本情感不一定同义“中性”表情很多时候掩盖了真实情绪另外如果投影层维度设置不当图像分支的梯度会干扰文本分支的预训练表示。解决先把图像分支的梯度断开单独训练融合层和分类头验证融合结构本身能利用特征再开启图像分支微调学习率降至视觉分支的一半最后把跨模态注意力权重保存下来取 top-3 的帧号和人工标注对应确认模型确实参考了人脸表情而不是把它当噪声。如果注意力权重集中在错误帧问题大概率在特征抽取不在融合。5.3 训练 loss 在下降验证集指标却纹丝不动现象训练约 3 个 epoch 之后 loss 一路走低验证集准确率一直停在多数类比例附近比如 0.73。原因数据集情绪标签本身就极度不均衡模型学会了全预测多数类因为这样交叉熵最小。验证集准确率看似不低但对少类完全没有区分能力。解决训练前先打印每类样本数确认类别分布损失函数切换成第 4 章的 Focal Loss并在评估指标里同时看 macro-F1。对多数类做下采样要谨慎多模态样本本来就难标丢掉数据会让其他模态的信息更稀疏。如果少类总共不到 50 条先做增强扩样本而不是靠损失函数硬撑。5.4 视频特征梯度爆炸位置编码和采样帧数不一致现象loss 在 step 200 附近直接变 NaN回滚检查点后问题仍反复出现。原因视频分支把不同时长的视频全塞进 Transformer序列长度从 8 到 64 帧不等位置编码第一次见到超出训练区间的长度时输出会异常放大梯度随之爆炸。解决固定抽帧数为 16不足时补齐位置编码只初始化到 16把视频分支和主训练阶段分开做 2 个 epoch 的预热等注意力模块的参数平稳后再联合训练。如果已经写了动态长度版本趁早改掉后面时间成本更大。5.5 显存 OOM在训练时重复抽特征而不是读缓存现象batch size 4 都跑不起来显存监控显示内存是在数据加载阶段涨上去的不是反向传播阶段。原因训练循环里直接调用人脸模型和 openSMILE 抽取特征这些模型的参数量和中间张量完全不小于融合网络四路同时计算必然爆显存。解决严格按第 3 章的流程度做离线缓存 npz训练时只读缓存。如果已经缓存但还是 OOM把 batch size 降到 8并把 image 特征从 16 帧降采样到 8 帧做对比实验。不值得为了帧数把 batch 压到 2梯度估计的噪声会大到训练根本无法收敛。6. 验证这一步别省用消融实验判断多模态到底值不值得做建模阶段结束后最要紧的是回答“多加一路到底有没有用”。消融实验是最好的验证方法。我在工程上把评估脚本做成可开关模态的形式每一个实验只改变一个开关其余配置完全相同。6.1 消融实验脚本应该怎么写# evaluate.py 消融实验入口 import itertools, argparse def run_ablation(model, loader, modality_flags): result {} for flags in itertools.product([True, False], repeat4): if not any(flags): # 全关没有意义 continue name _.join(m for m, on in zip([text, audio, image, video], flags) if on) output model(loader, use_textflags[0], use_audioflags[1], use_imageflags[2], use_videoflags[3]) result[name] compute_macro_f1(output) return result逻辑说明这段代码把四个开关循环展开得到 15 种模态组合的 macro-F1。认真看这个表你会得到两个结论第一单摸态文本分数是多少这是所有融合效果的天花板参考第二加进去的那一路如果只让 F1 提升不到 0.5 个点说明该模态当前的特征质量不高问题在特征提取而不是融合模型。参数说明评估时关掉 dropout 和所有随机增强同一个实验跑两次取平均值避免随机种子掩盖真实差异。测试集在 200 到 500 条之间时消融实验的结论比较可靠如果只有几十条就不建议把结论当成通用规律。6.2 错例反推哪一路置信度高但结果是错的除了消融实验我还会做错例不确定性分析把模型预测错误的样本单独打出来按模态标注出“哪一路置信度高但结果错”。比如一段视频里图像通道给出“开心”概率 0.9但标注是“难过”说明表情识别模型的标注与数据集不一致这个发现通常比换模型更有效。最近多模态大模型在图文理解上很火但我仍然建议情感分析先用这种轻量级融合系统因为情感标注粒度往往比大模型的通用语义更细消融实验能给每一路能力一个明确交代。做多模态情感分析这几年我最大的教训是不要迷信融合结构先怀疑数据、再怀疑特征、最后才怀疑模型。希望这份从特征到参数再到验证的完整路径帮到你少走我踩过的那些弯。本文还有配套的精品资源点击获取