简介面向课程设计与期末大作业场景这是一份基于Python的多模态虚假新闻检测高分项目针对社交媒体中谣言与假新闻频发的现实问题融合文本与图像特征对新闻真实性进行判别适合NLP初学者进阶和开发者二次扩展。资源以压缩包形式提供共39个文件包含16个Python脚本、4个Markdown文档、4个TXT说明、3个Shell脚本以及JSON、TSV等配置数据文件整体仅353KB轻量但结构完整其中py脚本覆盖数据预处理、模型训练、融合推断等核心环节md和txt提供使用说明与设计思路sh脚本可实现一键运行。代码包含BERT模型、CatBoost与LGB融合推理、预测测试等完整流程注释清晰入门者也能读懂并复现97分设计思路同时提供训练、测试、预测脚本和模型检查点便于对照文档梳理多模态识别实现脉络。目前已有389人学习下载尤其适合作为毕业设计、期末大作业的参考模板或深入二开的基础项目。1. 多模态虚假新闻检测到底难在哪不是“多一个模态就多一分准确率”做虚假新闻检测时我第一个多模态模型把文本和图像的特征直接拼起来F1 反而从 0.72 掉到 0.65。问题不在 PyTorch 代码流程而在“模态对齐”一条微博的文字说“中奖”配图却是转发抽奖截图模型真正学到的是文件的噪声不是语义。这篇文章把基于 Python 的虚假新闻检测多模态识别方案从头讲透——任务怎么定义、数据怎么选、文本和图像分支怎么编码、融合层怎么做、训练评估有哪些坑以及一份能让人信服的验证流程。适合做课程设计、毕业设计的同学也适合做内容审核的工程师照着复现。整体不依赖超大显存一张消费级显卡就能跑完。2. 把任务拆清楚检测什么、用什么数据、为什么只有文本不够2.1 任务定义与评估口径二分类不等于“分对就算对”虚假新闻检测面向的输入是一条新闻贴文通常由标题或正文文本、一张或多张配图构成输出是真新闻还是假新闻的二分类。这个定义看起来简单真正动手后会发现绝大多数公开数据集的假新闻样本占比很低普遍在 10% 上下。如果你只盯着准确率模型只要全部预测成“真新闻”准确率也能做到 0.90 以上但这个分类器没有任何使用价值。务实的评估口径要以 F1 和 AUC 为主。F1 由精确率预测为假的里面有多少是真假的和召回率所有假样本里模型找回了多少共同决定对少类别更敏感。AUC 则衡量模型把真假两类样本“区分开”的能力不受分类阈值影响。我在项目日志里始终同时记录 accuracy、F1 和 AUC 三项提交文档时也只报告这三项不单独吹高准确率。除了指标还要重视“假新闻随时间演化”的特点。同一事件在辟谣前后的标签可能相反如果数据切分不当模型很可能把事件编号而不是语义背下来。这个问题我在第 5 章和第 6 章会反复提因为它直接决定项目能不能通过验收。2.2 数据集选择中文学术公开集为什么更适合起步做中文虚假新闻检测最常见、最容易获取的公开数据集是 FakeSV 这类基于微博事件构建的学术数据集。它的组织方式是围绕一个具体新闻事件给出一组帖文文本、对应配图以及真/假标签。学术数据集的好处是已经做过基础标注坏处是字段组织不统一、文本噪声大、配图质量参差不齐这些都需要你自己清洗。英文场景还有 FakeNewsNet 等经典数据集但如果你是给中文业务场景做方案我更建议先用中文数据跑通整个链路。理由有三点一是模型用bert-base-chinese领域匹配二是微博文本的口语化表达、URL 片段、转发前缀这些噪声模式和实际业务更接近三是答辩或评审时中文案例便于解释不需要额外翻译。数据集下载后不要急着写模型。第一步先打印原始 JSON 的键名确认文本字段、图片路径字段、标签字段分别叫什么。不同版本的数据处理脚本字段名经常不一样有的叫text有的叫content有的图片路径直接是 URL有的是相对路径。这个步骤花十分钟能避免后面编码时反复返工。2.3 输入组织文本截断、图像缩放、标签映射三板斧在代码层面所有样本都要被整理成统一结构文本字符串、可读取的本地图片路径、整数标签。文本用 BERT 分词器处理最大长度设为 96 到 128 个 token超出部分直接截断。微博文本有效信息通常集中在前 80 个 token截断对性能影响很小但能显著降低显存占用和训练时间。图像部分的处理策略是长边缩放后中心裁剪到 224×224转成 RGB再做 ImageNet 统计分布上的归一化。微博配图里大量存在表情包、文字截图和水印图这些内容在预处理阶段不需要额外过滤交给后面的编码器处理但你必须保证每张图都能正常解码坏图会直接让训练进程崩溃。标签映射统一成整数0 表示真新闻1 表示假新闻。有的数据源用字符串 “fake/real”有的用True/False统一映射后再进入训练避免在计算损失函数时做隐式转换埋下隐患。3. 模型选型与融合结构从“各自编码”到“对齐决策”3.1 文本分支用 BERT 取 CLS 向量到底微不微调文本分支我固定用bert-base-chinese。这个模型对中文口语、缩写和错别字的容错能力明显好于直接用词向量而且 huggingface 生态成熟加载、缓存、断点续训的坑少。取特征时用的是last_hidden_state[:, 0, :]也就是 CLS 位置的输出向量维度是 768。CLS 向量可以理解为模型融合了整句话信息后的“摘要向量”下游任务直接拿它做分类头输入。问题在于微调还是不微调如果显存够12GB 以上、训练时间充裕可以整体微调 BERT效果上限更高。如果只有 8GB 显存或者想快速迭代融合策略那就冻结 BERT 只做特征抽取只训练后面的融合层和分类头。我一般会先按冻结模式跑通整个流程确认数据没问题后再解冻 BERT 微调 2 到 3 个 epoch。不要一开始就全量微调否则数据有 bug 时你根本分不清是代码问题还是模型没收敛。这里有一个值得注意的边界BERT 处理的是“文本内容”它对消息的传播结构不敏感比如转发层级、用户关系这些信息它看不到。如果项目要求更高可以加传播路径特征但那属于图神经网络的范畴本文不展开。当前阶段文本分支就把语义编码做好即可。3.2 图像分支为什么用 CLIP ViT 而不是 ResNet 从头训练图像分支有两条常见路线。路线一是 ResNet50 或 EfficientNet 在图像分类任务上预训练后微调路线二是直接用 CLIP 的 ViT 编码器提取特征。我推荐后者原因是虚假新闻配图的语义高度依赖和文本的关联一张图单独看没问题但配合“某地发生爆炸”的文字就可能造假。CLIP 在训练时就做过图像和文本的对比学习它的视觉特征空间和文本语义空间天然更接近对接 BERT 文本向量更容易对齐。具体实现上用 CLIP ViT-B/32 的encode_image方法输入 224×224 图像输出 512 维视觉特征向量整个编码过程冻结权重不参与梯度计算。好处是显存占用小、训练速度快坏处是你放弃了针对任务微调图像分支的机会。如果后续发现融合模型性能到达瓶颈可以把 CLIP 的视觉编码器解除冻结用更低的学习率微调但这会让参数量和显存占用明显上涨属于进阶操作。务实的选型结论是第一版方案全部冻结预训练模型只训练融合层和分类头。这样参数量可能只有几百万几分钟就能跑完一个 epoch可以快速验证想法。等验证集指标不再上升再逐步解锁模型。3.3 融合策略直接拼接不是坏选择但门控机制更稳最简单的融合方式是把 768 维文本向量和 512 维图像向量拼接成 1280 维然后接一个全连接分类头。这个方案胜在实现快、逻辑透明适合做基线版本。但我在项目里发现一个问题拼接向量经过线性层时模型只能学到一组固定的权重它无法针对某个样本动态决定“这条消息应该更相信文本还是更相信图像”。举个例子一张像“截图红头文件”的配图如果图像分支给出比较强的信号模型应提高图像权重而一条标题党文本配上无关风景图文本权重要压过图像。固定权重做不到这种按样本调节。我一般用门控机制替代简单拼接两个分支向量拼接后先经过一个小网络输出一个 0 到 1 的门控标量再把这个标量乘到拼接向量上最后做分类。门控标量就是模型自己学出来的“模态信任度”比固定权重更灵活也能在后期做可解释性分析看看模型到底更依赖哪个模态。这个结构和 Transformer 里的 attention 不一样它只做一次门控加权不涉及复杂的多头注意力计算训练起来非常稳不容易出现不收敛的问题。如果你的项目时间充裕可以再尝试跨模态注意力让文本向量和图像向量做交叉交互但第一版方案用门控就足够了。4. 用 PyTorch 跑通最小可复现工作流从数据清洗到训练评估4.1 数据清洗与对齐先去掉“只有文本没有图”和“坏图”所有代码从零实现不依赖大型框架。下面是我的数据加载函数目标是把原始 JSON 变成一份干净的样本列表。import json import os from PIL import Image def load_samples(json_path, image_root): samples [] with open(json_path, r, encodingutf-8) as f: raw json.load(f) # 不同版本的字段名不一样先打印一次 keys print(json keys:, raw[0].keys() if isinstance(raw, list) else raw.keys()) items raw if isinstance(raw, list) else raw[data] for item in items: text (item.get(text) or ).strip() if len(text) 20: # 太短的文本没有判别信息直接跳过 continue image_path None img_rel item.get(image) or item.get(img) if img_rel: candidate os.path.join(image_root, img_rel) if os.path.exists(candidate): try: with Image.open(candidate) as img: img.verify() # 检查文件是否损坏 image_path candidate except Exception: image_path None if image_path is None: # 多模态项目里缺失图片的样本要么补图要么丢弃 continue label int(item.get(label, 0)) samples.append({ text: text, image_path: image_path, label: label, }) return samples这段代码里有三个关键判断。第一个是文本长度下限 20过滤掉“转发微博”“哈哈”这类无意义短文本。第二个是对图片做verify()完整性校验避免训练中途因为一张损坏图片导致整个进程退出。第三个是标签统一转成整数防止后续计算交叉熵时类型报错。注意我打印了一次 JSON 的键名这是排查字段名不匹配时最直接的手段。4.2 特征编码流水线让文本和图像都变成张量数据清洗完以后需要把文本和图像分别编码成向量。考虑到冻结模式的 BERT 和 CLIP 推理耗时我建议把所有特征先一次性算好缓存到磁盘避免每个 epoch 重复过一遍预训练模型。import torch import torchvision.transforms as T from transformers import BertTokenizer, BertModel from PIL import Image tokenizer BertTokenizer.from_pretrained(bert-base-chinese) bert BertModel.from_pretrained(bert-base-chinese).eval() # 图像预处理统一尺寸、转张量、按 ImageNet 分布归一化 img_transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) def encode_sample(sample, device): # 文本分支取 CLS 向量 tokens tokenizer( sample[text], max_length96, truncationTrue, paddingmax_length, return_tensorspt, ).to(device) with torch.no_grad(): text_vec bert(**tokens).last_hidden_state[:, 0, :] # [1, 768] # 图像分支CLIP 冻结编码 image Image.open(sample[image_path]).convert(RGB) image img_transform(image).unsqueeze(0).to(device) # [1, 3, 224, 224] with torch.no_grad(): img_vec clip_model.encode_image(image) # [1, 512] return text_vec, img_vec, torch.tensor([sample[label]])参数上有两个地方容易忽略。一是max_length96这是根据微博文本长度分布试出来的再往上加到 128 对指标提升很小但显存占用明显变大。二是paddingmax_length会把所有样本统一填充到 96这样组成 batch 时不需要动态 padding代码更简单。如果数据文本很长且长度差异大可以用paddingTrue加collate_fn动态批处理但第一版不推荐会增加排查复杂度。4.3 门控融合层、损失函数与训练循环特征提取完成后训练目标就只有融合层和分类头。下面是完整训练代码包含门控融合模块和早停逻辑。class GatedFusion(torch.nn.Module): def __init__(self, text_dim768, img_dim512, hidden_dim256, dropout0.3): super().__init__() self.gate torch.nn.Sequential( torch.nn.Linear(text_dim img_dim, hidden_dim), torch.nn.ReLU(), torch.nn.Linear(hidden_dim, 1), torch.nn.Sigmoid(), ) self.classifier torch.nn.Sequential( torch.nn.Linear(text_dim img_dim, hidden_dim), torch.nn.ReLU(), torch.nn.Dropout(dropout), torch.nn.Linear(hidden_dim, 2), ) def forward(self, text_vec, img_vec): x torch.cat([text_vec, img_vec], dim-1) gate self.gate(x) # 模态信任度按样本动态生成 fused x * gate return self.classifier(fused) def train_model(train_loader, val_loader, epochs12, devicecuda): model GatedFusion().to(device) # 假新闻是少数类给类别 1 更高权重 class_weight torch.tensor([1.0, 5.0]).to(device) loss_fn torch.nn.CrossEntropyLoss(weightclass_weight) optimizer torch.optim.AdamW(model.parameters(), lr2e-5) best_f1 0.0 patience 3 bad_epoch 0 for epoch in range(epochs): model.train() total_loss 0.0 for text_vec, img_vec, label_tensor in train_loader: logits model(text_vec, img_vec) loss loss_fn(logits, label_tensor.squeeze(1)) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() f1 evaluate(model, val_loader, device) if f1 best_f1: best_f1 f1 torch.save(model.state_dict(), best_model.pt) bad_epoch 0 else: bad_epoch 1 if bad_epoch patience: break return model训练参数里最值得关注的是学习率和类别权重。lr2e-5是微调类模型的经验值如果换成 vanilla Adam 的默认 1e-3很容易发散。类别权重设为 1:5 意味着模型在训练时会更重视假新闻样本但权重不是越大越好如果数据集中假新闻占比只有 6%1:5 可能还不够我会先看验证集召回率再调。早停的patience3表示连续 3 个 epoch 验证集 F1 没有提升就停止避免过拟合。超参的调整顺序我认为优先级是先调类别权重再调融合头的hidden_dim最后才动学习率。4.4 评估与导出指标、模型文件、源代码管理一起交付评估环节至少要有两段代码一段计算 F1 和 AUC另一段导出测试集上的混淆矩阵。下面是直接可用的评估函数。from sklearn.metrics import f1_score, roc_auc_score, accuracy_score def evaluate(model, data_loader, devicecuda): model.eval() all_preds, all_labels, all_scores [], [], [] with torch.no_grad(): for text_vec, img_vec, label_tensor in data_loader: logits model(text_vec, img_vec) probs torch.softmax(logits, dim-1) preds torch.argmax(logits, dim-1) all_preds.extend(preds.cpu().numpy()) all_scores.extend(probs[:, 1].cpu().numpy()) all_labels.extend(label_tensor.squeeze(1).cpu().numpy()) f1_macro f1_score(all_labels, all_preds, averagemacro) auc roc_auc_score(all_labels, all_scores) acc accuracy_score(all_labels, all_preds) return f1_macro注意这里我返回的是宏平均 F1不是二分类 F1。宏平均把真新闻和假新闻两个类别同样对待少数类的表现会直接拉低整体分数更能暴露模型短板。如果你只算假新闻类别的 F1会造成“模型把大部分假新闻找出来了但大量误杀真新闻”的情形被掩盖评审追问时很难解释清楚。训练完成后源代码目录里要有完整的requirements.txt、README 和训练日志。README 写明数据来源、目录结构、运行命令和复现结果训练日志给出每个 epoch 的 loss 和验证指标。这份说明决定了项目交付的完整度。一个只能跑出数字但没有过程和复现说明的项目在答辩时很难被认可。5. 多模态虚假新闻检测的 5 个常见踩坑与排查手册5.1 加了图像分支性能反而不如纯文本问题出在哪这个现象几乎每个做多模态的人都会遇到。我最初把文本和图像特征拼接后F1 从 0.72 掉到 0.65第一反应是模型结构问题反复换融合层也没用。后来逐条看错误样本发现大量假新闻配图是表情包、风景图或者产品截图这些图本身不包含任何造假信息。让模型去学这种图像等于往分类器里灌入大量与任务无关的噪声。原因是模态对齐失败图像分支的输入分布和文本语义没有对齐模型无法从图中提取有效判别信号反而被图像细节带偏。解决方法是先做一次人工抽样分析把配图分成“有语义信息”和“纯装饰”两类统计它们在不同标签下的分布。如果装饰图和真实标签没有相关性建议在数据层面过滤或者对图像分支做更强的数据增强让模型更多关注图像结构而不是纹理噪声。5.2 准确率 0.95F1 却不到 0.4少样本类别被忽略训练日志显示准确率一路走高但 F1 始终在 0.4 附近晃动。打开混淆矩阵后发现模型几乎把所有样本都预测成了“真新闻”假新闻类别的召回率只有 0.1。这是典型的类别不平衡问题数据里假新闻占比太低模型学到的最优策略就是放弃少类别。解决方式有三层。第一层在损失函数上做类别加权把假新闻类别的权重从 1 提为 5 甚至 10。第二层在评估时机上动刀早停指标从 accuracy 换成 F1。我见过很多项目因为早停看 accuracy选出来的模型反而是“放弃少类别”的版本。第三层是采样策略对假新闻样本做过采样让每个 batch 里两类比例接近 1:1但要注意过采样后必须在验证集保持原始分布否则指标虚高。5.3 验证集指标虚高模型“背下来”了事件而不是语义训练时 F1 冲到 0.85我以为方案成功了结果把日期切开的测试集一跑直接掉到 0.58。这说明模型学到的是事件和时间信息而不是判别真假的能力。原因是数据划分用了随机切分同一个新闻事件的多条帖文同时出现在训练集和验证集模型记忆了事件表象测试时遇到同事件样本自然“分得准”。规范的划分方式是按事件或时间切分。先把所有样本按事件 ID 分组确保同一事件的全部样本只出现在一个集合里。另外对图像做感知哈希去重把内容高度相似的图合并成一组再分配到同一集合防止同一张图在不同集合里出现造成泄漏。5.4 直接拼接后显存飙升融合层过拟合训不动模型第一次跑通时我把拼接后的 1280 维向量直接接一个 Linear 到 2 分类中间没有任何降维训练 loss 一直在 1.2 附近抖动。原因是特征维度高、样本量少全连接层快速过拟合验证集上基本是随机猜测。解决方式是给拼接向量先过一个小的投影层投影到 256 维再做门控和分类。这个做法让参数量从百万级压到几十万级同时保留了两个模态的主要信息。更激进的做法是每个分支各自过一层投影再拼接但效果没有显著提升所以第一版方案用一个共享投影层就够。5.5 不固定随机种子同一套代码两次训练结果差 3%我在快速迭代时经常切换机器发现每次训练结果都会有浮动。排查下来是三个随机源没有固定PyTorch 模型初始化、数据加载器的打乱顺序、CUDA 卷积实现的不确定性。如果没有固定种子F1 浮动 3% 以内都算正常但这会让调参判断失真。解决方式是在入口处固定所有随机源代码如下import random import numpy as np import torch def seed_everything(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsecudnn.deterministicTrue会牺牲少量训练速度换取可复现性benchmarkFalse关闭自动调优算法选择。这段代码必须在模型实例化和 DataLoader 创建之前执行。如果项目对结果可复现性有硬性要求还要固定环境版本把核心依赖用 pip freeze 导出。6. 进阶技巧时间切分验证与消融实验——让“高分项目”经得起质疑拿到一份看起来还不错的模型权重之后最容易被评审追问的问题是你怎么证明多模态融合真的有效我用两个手段应对一是时间切分验证二是消融实验。时间切分不按样本随机切而是把数据按发布时间排序前 80% 做训练、后 20% 做测试。这样做的好处是模拟真实业务场景用过去的数据预测未来。假新闻检测本质上是一个时效性很强的任务新事件出现时模型必须从语义特征推断而不是从历史事件中寻找相似样本。如果时间切分后的指标明显低于随机切分说明模型记忆了事件分布部署后遇到新事件会失效。消融实验是把模型依次拆成三个版本纯文本分支、纯图像分支、文本图像拼接融合、文本图像门控融合。每个版本都跑相同的训练配置和评估流程记录 F1 和 AUC。我当前项目的消融结果大致如下版本验证 F1宏平均测试 AUC文本分支0.710.82图像分支0.520.66拼接融合0.750.85门控融合0.790.89看到这组结果才能合理说明两个结论第一单独用图像效果远不如文本但将图像加入后 F1 确实上升了说明图像分支并非无用第二门控融合优于拼接融合说明按样本动态调节模态权重的策略有效。这套验证流程让项目的说服力远远强于“我调参调得准”因为它从实验设计层面回应了“多模态为什么有效”。我最初为了图省事用了随机切分答辩时被问到“同一事件被分到两侧怎么办”才意识到问题回去重做时间切分数值掉下来一段但实验逻辑通顺了。后面再有人质疑我能直接拿数据和实验设计说话而不是反复解释代码没问题。最后一点心得训练日志从第一天就认真记录每个时间点的模型、数据版本、随机种子、评估指标都留痕这是比“分数高”更值钱的交付物。希望帮到你。本文还有配套的精品资源点击获取