简介面向Python机器学习课程设计及毕业设计场景的完整实战项目基于多层感知机MLP实现互联网虚假新闻自动检测整体流程涵盖数据预处理、特征构建、模型训练、参数优化与结果预测。项目为评审得分98分的高分作品源码经本地编译与严格调试下载后可直接运行验证特别适合需要完整项目参考的计算机相关专业学生使用。包内共21个文件以Python脚本、模型权重文件、pkl数据文件及CSV数据集为主辅以项目说明文档、训练输出记录和配置信息结构清晰便于对照学习完整的MLP文本分类实现思路。资源大小92.71MB含README说明与报告文档可快速把握项目设计脉络。目前已有38人下载学习对于正在筹备大作业或毕业设计的同学是一份兼具完整性与可运行性的高质量参考。1. 基于Python和MLP的互联网虚假新闻检测器一个入门简单、拿高分不简单的课设题目很多同学拿到“基于Python和MLP的互联网虚假新闻检测器”这个题目时第一反应是MLP这么老的模型会不会显得没技术含量但做了几年这类项目的实际经验告诉我这个题目的翻车点从来不在模型复杂度上。样本不平衡、验证集泄漏、文本清洗不干净任何一个低级错误都能让准确率从0.95掉到0.70。这个方向适合Python刚入门、想完整走一遍机器学习流程的开发者——数据清洗、特征工程、模型训练、评估、封装预测一个环节都不少每一环都能写进文档凑出实打实的“高分项目”厚度。2. 造数据是第一步新闻文本怎么变成MLP吃得下的数字2.1 数据从哪来公开数据集与自建样本的取舍常见做法是先用公开数据集把流程跑通再根据题目要求决定要不要补充自建样本。英文新闻检测最常用的是Kaggle上Fake News Detection赛题的train.csv常见版本在2万行左右字段一般包含id、title、text、label四列规模更大一些可以看ISOT Fake News Dataset它在几万条的量级真假新闻来源分得很清楚。中文场景则常用THUCNews的新闻子集自己构造真假标签或者从辟谣平台整理样本——但后者需要大量人工核对课设时间通常不够。数据源适合场景需要注意的点Kaggle Fake News赛题集英文检测、快速跑通文件较大text列有缺值ISOT Fake News Dataset英文检测、要更大训练量真假样本分布要自己统计THUCNews子集 自标注中文检测标签一致性要人工抽检爬虫构造样本补充小众领域样本版权与平台条款要自行评估如果你考虑用Python爬虫自己采数据我的建议是只把它当补充手段。爬虫写起来不难但清洗成本极高同一篇文章在不同网站的转载版本格式完全不同时间、来源、作者信息混杂在正文里过滤这些噪声的时间往往超过模型训练本身。课设和毕设阶段用公开数据集把流程跑通再用爬虫补几十条小众样本做演示是性价比最高的组合。2.2 清洗与标注一条能进MLP的样本文本长什么样公开数据集里的原始文本远没有你想象的干净。以Kaggle的train.csv为例text列里经常混着超链接、HTML标签残留、连续换行和零宽字符如果不处理这些噪声会被TF-IDF当成“特征”模型很可能会学到“ url开头的是真新闻”这种毫无泛化能力的规则。import re import html def clean_text(text: str) - str: 把一条原始新闻文本清洗成适合后续特征提取的纯文本 if not isinstance(text, str): return # 1. 去掉HTML标签防止div、p之类的标签文本混入特征 text re.sub(r[^], , text) # 2. 去掉URL新闻正文里的链接对真假判断没有贡献 text re.sub(rhttp[s]?://\S, , text) # 3. 反转义html实体比如amp;要还原成再后续处理 text html.unescape(text) # 4. 统一大小写避免Apple和apple被当成两个特征 text text.lower() # 5. 把连续的空白字符压缩成一个空格 text re.sub(r\s, , text).strip() return text # 应用到整个DataFrame df[clean_text] df[text].apply(clean_text)这段代码的逻辑主线是先处理结构化噪声HTML、URL再处理语义层噪声大小写、空白。其中第2步去掉URL要特别说明新闻正文里大量出现超链接是常态但真假新闻都会带链接把它作为特征只会让模型记住“有没有链接”而不是“内容可不可信”。第4步的大小写统一只适用于英文数据集中文文本没有大小写概念但要做全角半角转换——全角逗号和半角逗号在字符串层面是两个字符如果不统一会被拆成两个特征。标签列也要提前统一。常见赛题里label为0表示真实新闻、1表示虚假新闻但有些数据集正好相反。建议在清洗后单独打印类别分布确认0和1的数量不要偏差太大。如果发现真假样本比例超过3比1别急着训练先看4.3节的处理办法。2.3 用TF-IDF把新闻文本变成特征矩阵max_features 与 ngram_range 怎么定MLP吃不下字符串它只能处理定长的数值向量。把清洗后的文本转成向量的最稳妥方案是TF-IDF词频-逆文档频率它比单纯的词袋模型多了“惩罚常见词”的能力——像“the”“a”“and”这种在真假新闻里都会高频出现的词TF-IDF会给它们很低的权重避免模型被它们带偏。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split # 切分要在特征提取之前做顺序不能反 train_df, test_df train_test_split( df, test_size0.2, random_state42, stratifydf[label] ) vectorizer TfidfVectorizer( max_features5000, # 只保留最重要的5000个特征控制向量维度 ngram_range(1, 2), # 保留单个词和相邻双词比如fake news作为一个整体特征 min_df2, # 至少在2篇文档中出现过的词才保留 stop_wordsenglish, # 英文数据集去掉常见停用词 sublinear_tfTrue # tf用1log(tf)替代原始值降低高频词的压倒性影响 ) X_train vectorizer.fit_transform(train_df[clean_text]) X_test vectorizer.transform(test_df[clean_text]) y_train train_df[label].values y_test test_df[label].values # X_train是稀疏矩阵后续转成稠密或分批喂给模型都方便 print(X_train.shape) # (训练样本数, 5000)几个参数的取舍逻辑在这里展开说一下。max_features5000意味着词表只保留文档频率最高的5000个词这么做能同时控制训练时间和过拟合风险MLP的输入维度就是5000如果max_features开到5万隐藏层的参数量会膨胀到难以训练。ngram_range(1,2)是新闻检测的经验值——很多虚假新闻的标志性表达是双词短语比如“breaking news”“urgent update”只保留单字词会丢掉这些信号。最关键的一步是顺序必须先train_test_split再fit_transform。TfidfVectorizer的fit过程会统计整个训练语料的词频和文档频率如果先在全量数据上fit再切分测试集的信息就通过词表漏进了训练过程验证结果会虚高。这一步是第4章避坑章节里最严重的翻车点这里先把正确写法立住。2.4 用Python做特征分析确认你喂给模型的东西是合理的喂给MLP之前建议用Python数据分析与可视化的方式快速验证一下特征质量这一步能救回很多后期调参的时间。把TfidfVectorizer的词表导出按TF-IDF均值排序打印前20个权重最高的词。如果这些词里混着一堆日期、数字、作者名说明清洗环节还有遗漏如果全是“breaking”“urgent”“fake”这类语义明确的高信息量词就可以放心训练了。import numpy as np # 把稀疏矩阵转成数组按列求均值得到每个词的全局TF-IDF均值 mean_tfidf np.asarray(X_train.mean(axis0)).ravel() feature_names vectorizer.get_feature_names_out() # 按权重从高到低取前20个词 top_idx mean_tfidf.argsort()[::-1][:20] for idx in top_idx: print(f{feature_names[idx]:15s} {mean_tfidf[idx]:.4f})这段代码没有任何模型逻辑但价值很大。如果前20个词里出现了“said”“would”这类中性词说明数据里的高频噪声没有被完全压住如果出现了两个几乎同义的词排在相邻位置比如“fake”和“fakes”可以考虑在清洗阶段加一步词形还原。特征检查做扎实后面MLP的训练会顺利得多也能在文档的“数据分析”章节里多写两三页实在内容。3. 把MLP搭起来网络结构、训练循环与可复现参数3.1 为什么是MLP而不是LSTM或BERT课设场景的选型逻辑先回答一个几乎所有答辩考官都会问的问题现在有BERT有LSTM你为什么用MLP这个问题答好了就是加分项答不好就会被当成“只会调包”。我的回答思路是这是一个2万样本量级的二分类任务文本平均长度在几百个词以内TF-IDF加MLP在这个规模上能把F1做到0.90甚至更高而BERT需要预训练权重、显存和更长的训练时间LSTM虽然能建模序列关系但对这类短文本的增益并没有想象中大。更重要的是MLP是一个你能在文档里完整解释的模型。从输入层到隐藏层到输出层每一层做了什么、梯度怎么回传、dropout为什么能缓解过拟合你都能在文档说明里写清楚。答辩时被追问“你的模型哪里体现创新点”你可以说“创新点在特征工程与模型结构的匹配而不是无脑堆叠复杂模型”——这句话比“我用了BERT”可信得多。但选MLP有一个前提条件你必须把特征工程做到位。MLP不擅长从原始文本里直接提取语义信息它的上限由输入特征的质量决定。TF-IDF给的5000维特征如果噪声大MLP结构再精巧也救不回来。所以第2章的清洗和特征分析不是可有可无的步骤它直接决定了第3章的训练效果。3.2 网络结构设计输入维度、隐藏层与Dropout的取舍项目文档里最常见的MLP结构是三层输入层、一个隐藏层、输出层。但我在这个项目里实测下来两层隐藏层的效果比一层要好——新闻文本的TF-IDF特征经过第一层ReLU激活后部分特征组合被激活第二层能在这个基础上提取更高阶的交叉模式。三到四层会明显增加过拟合风险训练时间也翻倍课设项目不建议。层结构参数说明输入层5000维对应TfidfVectorizer的max_features隐藏层1128个神经元 ReLU把5000维降到128维ReLU避免梯度消失Dropout层丢弃率0.3随机丢弃30%神经元防止过拟合隐藏层264个神经元 ReLU进一步压缩特征维度Dropout层丢弃率0.3同上一层输出层2维 Softmax输出0真实和1虚假的概率分布输入维度必须和max_features严格对齐这是最常见的配置错误。如果你在2.3节把max_features改成了10000模型定义里的Linear(5000,128)也要同步改成Linear(10000,128)。Dropout的丢弃率在新闻检测这个任务上我一般选0.3太低起不到正则效果太高会让模型训练不稳定——有次我试了0.5训练集loss正常下降验证集F1却始终徘徊在0.80最后发现是dropout把有效特征丢弃得太狠了。3.3 训练循环固定随机种子、早停与模型保存这里用PyTorch 2.x写一个完整的训练脚本这是整个项目最核心的代码块也最值得在文档里逐行展开。import torch import torch.nn as nn from torch.utils.data import TensorDataset, DataLoader import numpy as np import os # 固定所有随机源保证同一份代码每次跑的结果一致 def set_seed(seed: int 42): np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) class NewsMLP(nn.Module): def __init__(self, input_dim: int 5000): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, 128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, 64), nn.ReLU(), nn.Dropout(0.3), nn.Linear(64, 2) # 输出2维喂给CrossEntropyLoss ) def forward(self, x): return self.net(x) def train_model(X_train, y_train, X_val, y_val, epochs30, lr1e-3, patience5): set_seed(42) # 把稀疏矩阵转成稠密张量5000维在2万样本量级下内存可以接受 X_train_t torch.tensor(X_train.toarray(), dtypetorch.float32) y_train_t torch.tensor(y_train, dtypetorch.long) X_val_t torch.tensor(X_val.toarray(), dtypetorch.float32) y_val_t torch.tensor(y_val, dtypetorch.long) dataset TensorDataset(X_train_t, y_train_t) loader DataLoader(dataset, batch_size64, shuffleTrue) model NewsMLP(input_dimX_train_t.shape[1]) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lrlr) best_val_f1 0.0 bad_epochs 0 for epoch in range(epochs): model.train() total_loss 0.0 for batch_x, batch_y in loader: optimizer.zero_grad() logits model(batch_x) loss criterion(logits, batch_y) loss.backward() optimizer.step() total_loss loss.item() # 每个epoch结束做一次验证 model.eval() with torch.no_grad(): val_logits model(X_val_t) val_pred torch.argmax(val_logits, dim1) val_f1 f1_score(y_val_t.numpy(), val_pred.numpy(), pos_label1) print(fepoch {epoch1}/{epochs} | loss {total_loss/len(loader):.4f} | val_f1 {val_f1:.4f}) # early stopping连续patience个epoch验证F1没涨就停 if val_f1 best_val_f1: best_val_f1 val_f1 bad_epochs 0 torch.save(model.state_dict(), best_model.pt) else: bad_epochs 1 if bad_epochs patience: print(early stopping triggered) break print(fbest val f1: {best_val_f1:.4f})参数选择上这批配置在我跑过的多个新闻数据集上表现稳定。学习率1e-3是Adam在中小规模数据上的安全默认值试过1e-2会出现loss震荡试过1e-4则要跑到第20个epoch才有明显下降。batch_size64在2万样本下每个epoch约300次迭代训练速度很快。batch_size调大256时训练更稳但验证F1略有下降可能是梯度更新次数变少导致调小16则每个epoch耗时明显增加收益却很有限。patience5意味着连续5个epoch没有刷新验证F1就提前终止这个设置能帮你省掉大量无效训练时间。训练循环里最容易忽略的是model.train()和model.eval()的切换。Dropout层在训练时随机丢弃神经元但验证和预测时必须关闭否则每次前向传播的结果都不一样。上面的代码在训练循环里明确调用了model.eval()并使用torch.no_grad()关闭梯度计算这两行缺一不可。3.4 环境依赖与运行准备把复现成本降到最低这个项目的依赖只有五个Python 3.9以上、PyTorch、scikit-learn、pandas、numpy。在VSCode里配置好Python环境后用pip一条命令能装齐。第一次跑通全流程的时间通常在半小时以内前提是Python安装时勾选了“Add Python to PATH”否则命令行里会找不到python命令——这是新手最常见的起步障碍。pip install torch scikit-learn pandas numpy装完之后可以从数据清洗开始逐步执行先跑2.2节的清洗脚本再跑2.3节的特征提取最后跑3.3节的训练。项目文档里写清这三步的命令和输出答辩时按顺序复现一遍比任何截图都有说服力。4. 训练与评测避坑五个让检测器翻车的细节点4.1 现象准确率虚高换一批数据就崩这是整个项目最隐蔽的翻车点。有次我帮同学排查一个准确率0.97的项目训练集和测试集都是这个分数看起来完美。但换成他自己爬取的几十条新闻后预测结果几乎全是假新闻。查到最后问题出在特征提取的时机上他在全量数据上先做了TfidfVectorizer的fit_transform然后才切分的训练集和测试集。原因是测试集和训练集共享了同一套词表统计信息。TF-IDF的IDF值来源于整个语料的文档频率测试集的文本参与了IDF的计算相当于测试集信息提前泄漏给了模型。验证集上看到的准确率自然虚高但模型真实见过语义空间却没有见过测试集的文本分布换个数据源立刻现形。解决方法是严格区分fit和transformfit_transform只用在训练集上验证集和测试集只用transform。2.3节的代码块已经按这个顺序写了如果你拿到的是别人写的源码第一步先检查有没有在切分之前对全量数据做fit_transform。这个检查应该写进文档的“代码审查清单”里。4.2 现象loss卡住不降验证F1始终在0.5附近loss在某个数值附近震荡、验证F1约等于随机猜这个现象在MLP项目里比想象中常见。通常有两个原因叠加一是TfidfVectorizer输出的稀疏矩阵直接喂给了Linear层没有经过任何尺度归一化二是学习率设置不匹配。TF-IDF特征的数值范围是0到1但分布极度偏斜——绝大多数词的值集中在0.01附近少数词的TF-IDF值接近1。这种长尾分布会让Adam优化器难以收敛到平滑的损失曲面。常见做法是在特征提取后用StandardScaler做标准化但sklearn的StandardScaler会对稀疏矩阵报错。解决方法是调用scaler.fit(X_train.toarray())后再transform或者在训练脚本里直接对稠密张量做标准化。class StandardScaler: def __init__(self): self.mean None self.std None def fit(self, X): self.mean X.mean(dim0, keepdimTrue) self.std X.std(dim0, keepdimTrue) 1e-8 return self def transform(self, X): return (X - self.mean) / self.std如果你不想引入额外的标准化逻辑也可以把学习率从1e-3调低到3e-4配合batch_size调大到128部分情况下能让loss下降。但经验是标准化解决问题的概率更高学习率只是缓解症状。在文档里写清楚这个取舍能体现出你对优化问题的理解深度。4.3 现象预测结果几乎全是0或全是1训练正常、loss正常下降但预测结果九成以上集中在某一类这是样本不平衡和输出阈值共同作用的结果。公开数据集里真假新闻的比例很少是完美的1比1当假新闻样本占比只有10%时模型只要把所有样本都判成真新闻准确率就能到90%F1却会非常难看。先统计类别分布确认是否真的不平衡如果比例在2比1以内一般来说直接训练不会有大问题超过3比1就建议处理。最简单的做法是在CrossEntropyLoss里传class_weight参数按类别频率的倒数给少数类更高的权重from sklearn.utils.class_weight import compute_class_weight classes np.unique(y_train) weights compute_class_weight(balanced, classesclasses, yy_train) class_weight torch.tensor(weights, dtypetorch.float32) criterion nn.CrossEntropyLoss(weightclass_weight)这段代码的含义是假新闻样本少它的梯度贡献就放大让模型在预测假新闻时更敏感。但要注意class_weight会改变loss的绝对数值之前的early stopping阈值也要同步调整。另外千万别用“把阈值调到0.3”这种事后补救的办法来解决不平衡问题——那种只对单个数据集有效换个数据集就失效了。4.4 现象同一份代码跑两次验证F1差0.03以上有同学拿着训练脚本复现第一次跑F1是0.92第二次变成0.89就开始怀疑代码有随机bug。实际上PyTorch的CPU和GPU训练都有随机性来源数据加载器的shuffle、Dropout层的随机丢弃、GPU上部分操作的原子性累加都会导致细微差异。2万样本量级下F1波动0.02到0.03是正常的。解决方法是在训练前固定所有随机种子包括numpy、torch、CUDA以及DataLoader的worker。3.3节的set_seed函数已经做了这件事但要注意一个坑如果模型里用了需要初始化的可学习层必须在set_seed之后创建模型否则模型参数的初始权重仍然不固定。如果你想让实验更严谨可以在文档里说明“每个配置跑了三次取平均”。这个做法在课设答辩里很加分——它说明你不是只挑了一次好看的结果写进报告而是做过完整的实验考量。4.5 现象清洗时删掉停用词验证集效果反而变差停用词处理是文本分类里最容易被想当然的步骤。很多人沿用词袋模型时代的习惯把“the”“a”“is”“not”全部删掉认为它们没有信息量。但新闻语境的特殊性在于一些虚假新闻会用高频否定词堆砌出情绪化表达“not”“no”“never”这些词恰恰是区分真假新闻的强信号。删掉它们等于把最明显的线索藏起来。TfidfVectorizer的stop_wordsenglish参数使用的停用词表包含常见的连词、介词但不包含否定词这是合理的默认配置。如果你自己维护停用词表我的建议是宁可少删也不要多删——把“the”“a”这类纯结构词去掉可以但任何带语义倾向的词都保留。清洗脚本跑完后打印一下被删除词的总数如果超过100个就该怀疑是不是删多了。5. 最后一步把模型封装成能演示的检测器并验证它不是运气训练脚本跑完best_model.pt和TfidfVectorizer都在内存里但项目交付要的是一个能被老师或同事直接调用的检测器而不是一段训练日志。常见做法是写一个独立的predict.py加载训练时保存的模型权重和向量化器对新的新闻文本输出检测结果。这一步工作量不大但对“高分项目”的观感提升非常明显。import torch import joblib # 加载训练时保存的向量化器和模型权重 vectorizer joblib.load(tfidf_vectorizer.pkl) model NewsMLP(input_dimlen(vectorizer.get_feature_names_out())) model.load_state_dict(torch.load(best_model.pt, map_locationcpu)) model.eval() def predict_news(text: str) - dict: cleaned clean_text(text) features vectorizer.transform([cleaned]).toarray() features_t torch.tensor(features, dtypetorch.float32) with torch.no_grad(): logits model(features_t) prob torch.softmax(logits, dim1).squeeze().tolist() label 虚假新闻 if prob[1] prob[0] else 真实新闻 return {label: label, real_prob: prob[0], fake_prob: prob[1]} # 用三条测试集之外的真实新闻验证 test_samples [ Scientists have discovered a new species of frog in the Amazon rainforest., URGENT: The president has been secretly replaced by an alien imposter, sources claim., The stock market closed at a record high today following strong job reports., ] for s in test_samples: print(predict_news(s))三个文件的职责要分清楚data_cleaner.py负责清洗feature.py负责TF-IDFtrain.py负责训练和保存产物predict.py负责加载和推理。文档说明里写清楚每个文件的运行命令和输入输出格式任何人拿到源码包都能按步骤复现这就是“高分项目”和“能跑的程序”之间最本质的区别。验证环节我建议你准备五六条真实新闻和明显编造的假新闻混合着测试检测器。看输出概率是不是均匀分布在0和1两侧而不是所有样本都挤在0.5附近——如果输出概率都接近0.5说明模型的置信度不足要么特征没区分度要么训练不充分。在文档里留一张测试结果表写清楚每一条新闻的预测概率和人工判断是否一致比任何截图都有说服力。做这个项目最深的体会是拿高分的关键不在模型选得多新而在于你的方案每一步都有明确的理由、每个坑都踩过并且能讲清楚怎么绕开。这个准则我用了很多年几乎每个项目都适用。希望帮到你。本文还有配套的精品资源点击获取