尧图网页设计 
简介这份资源面向数据挖掘与自然语言处理方向的初学者及进阶学习者围绕朴素贝叶斯算法构建真假新闻分类模型这一典型文本分类任务展开帮助读者掌握从数据准备到模型评估的完整流程。压缩包共4个文件约27.2MB包含两个CSV格式的真假新闻数据集、一份HTML格式的实验报告以及一份ipynb格式的Jupyter Notebook代码分别用于数据存储、结果展示与交互式建模。目前已有163人学习下载。读者可借助该资源完成数据清洗、停用词去除、词干提取、词袋与TF-IDF特征提取等预处理环节并基于scikit-learn实现朴素贝叶斯分类器训练通过准确率、精确率、召回率与F1分数等指标评估模型表现同时了解交叉验证与正则化等避免过拟合的思路为处理类似文本分类问题提供可复用的方法论与代码参考。1. 真假新闻分类模型一条被低估的文本挖掘落地路径刷到一条某地突发重大事件的推送配图模糊、措辞夸张、来源不明——你下意识想验证真假但人工核查成本太高。这正是真假新闻分类模型要解决的问题把新闻文本自动判为真实或虚假二分类。它属于数据挖掘里最经典的文本分类任务核心算法常用朴素贝叶斯算法因为它训练快、对小样本友好、可解释性强非常适合作为入门到落地的第一站。这套方案适合谁有 Python 基础、想跑通一个完整 NLP 分类流程的开发者需要快速搭建内容审核原型的团队以及想理解数据集代码如何配合的学生和转行者。下面我从数据到模型把这条路径拆开讲透。2. 朴素贝叶斯凭什么能判新闻真假原理与选型理由2.1 从贝叶斯定理到朴素假设朴素贝叶斯分类器的根基是贝叶斯定理给定新闻文本的特征词计算它属于真实或虚假类别的后验概率取概率大的那一类作为预测结果。公式不复杂P(类别|文本) P(文本|类别) × P(类别) / P(文本)其中 P(类别) 是先验概率训练集中真实/虚假新闻各占多少P(文本|类别) 是似然该类别的新闻里出现这些词的概率P(文本) 是归一化常数实际比较时可以忽略。朴素二字来自一个强假设各个词之间相互独立。现实中词与词显然有关联突发和事件经常一起出现但工程实践反复验证即便这个假设不成立朴素贝叶斯在文本分类上依然表现稳健。原因在于分类只需要比较大小不需要精确概率值独立性假设带来的偏差在多数场景下不会改变排序结果。我一般会跟团队说如果你要的是能跑、能解释、能快速迭代的基线模型朴素贝叶斯是性价比最高的选择。它不像深度学习那样需要大量调参和 GPU 资源在几千到几万条新闻的数据集上几分钟就能训练完并给出可用的准确率。2.2 三种变体怎么选Multinomial、Bernoulli、Gaussian朴素贝叶斯不是单一算法常见三种变体选错了效果会差很多变体特征类型适用场景真假新闻分类是否推荐MultinomialNB词频整数文本分类、词袋模型推荐最常用BernoulliNB二值0/1短文本、关键词是否存在可作对比基线GaussianNB连续值特征为连续数值不推荐用于文本真假新闻分类的输入是新闻正文经过分词和向量化后天然是词频矩阵所以MultinomialNB 是首选。BernoulliNB 只看词有没有出现而不看出现几次对长新闻会丢失信息但对短标题分类有时反而更好。GaussianNB 假设特征服从正态分布文本词频明显不满足不建议用。选型逻辑很直接先看你的特征是什么类型再选对应变体。不要拿 GaussianNB 硬套文本数据这是新手最常见的翻车点之一。2.3 文本分类完整链路从原始新闻到预测标签一个可落地的真假新闻分类流程包含以下环节每个环节都有坑数据加载读取新闻文本和标签真实/虚假文本预处理去 HTML 标签、去标点、统一大小写、去停用词中文分词如果是中文新闻用 jieba 等工具切词特征提取TF-IDF 或词袋模型把文本转成数值向量训练集/测试集划分通常 8:2 或 7:3模型训练MultinomialNB 拟合预测与评估准确率、精确率、召回率、F1这条链路看起来标准但每一步的参数选择都会影响最终效果。比如 TF-IDF 的 max_features 设多少、停用词表用哪个、分词粒度怎么控制——这些细节决定了模型是能用还是好用。后面几章我会逐个拆开讲。3. 把数据集喂进模型预处理与特征工程实操3.1 数据加载与标签清洗拿到数据集代码的压缩包后第一步不是急着跑模型而是先看清数据长什么样。常见的数据格式是 CSV 或 Excel包含两列新闻正文text和标签label。标签可能是字符串真实/虚假、real/fake也可能是数字0/1。import pandas as pd # 加载数据集注意编码格式中文数据常见 utf-8 或 gbk df pd.read_csv(news_dataset.csv, encodingutf-8) # 查看基本信息 print(df.shape) # 行数和列数 print(df.columns.tolist()) # 列名 print(df[label].value_counts()) # 标签分布 # 统一标签为 0/1方便后续建模 label_map {真实: 0, 虚假: 1, real: 0, fake: 1} df[label] df[label].map(label_map) # 删除标签为空的行 df df.dropna(subset[label, text]) df[label] df[label].astype(int)这段代码做了三件事加载数据、查看分布、统一标签编码。关键参数说明encoding必须和数据文件实际编码一致否则会报 UnicodeDecodeErrorvalue_counts()用来检查类别是否严重不平衡如果真实和虚假比例超过 9:1后续需要做重采样或调整评估指标。标签清洗容易被忽略。我见过数据集里标签有真实、真、real、0四种写法混用的情况不统一就会导致模型只学到部分数据。清洗后一定要再打印一次value_counts()确认。3.2 中文分词与停用词处理中文新闻和英文不同词与词之间没有空格必须先分词。jieba 是最常用的中文分词工具但默认模式对新闻文本不一定最优。import jieba import re # 加载停用词表 def load_stopwords(pathstopwords.txt): with open(path, r, encodingutf-8) as f: return set(line.strip() for line in f) stopwords load_stopwords() def preprocess_text(text): # 去除 HTML 标签 text re.sub(r[^], , text) # 去除 URL text re.sub(rhttp[s]?://\S, , text) # 去除标点和特殊字符只保留中文和数字 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , text) # 分词 words jieba.lcut(text) # 去停用词和单字 words [w for w in words if w not in stopwords and len(w) 1] return .join(words) df[clean_text] df[text].apply(preprocess_text)逻辑说明先去 HTML 标签和 URL这些是新闻爬取时常见的噪声再用正则只保留中文、字母和数字去掉标点符号然后 jieba 分词最后过滤停用词和单字。len(w) 1这个条件是为了去掉的、了、是这类单字噪声但要注意有些关键信息可能是单字比如涨、跌如果你的数据集有金融新闻这个条件要慎重。参数说明停用词表可以自己维护也可以用公开的中文停用词表。jieba 还支持自定义词典如果新闻领域有专有名词比如特定机构名可以jieba.load_userdict(dict.txt)加载避免被切碎。3.3 TF-IDF 向量化参数怎么设文本分词后还是字符串列表模型不认识必须转成数值向量。TF-IDF 是最经典的做法TF 是词频IDF 是逆文档频率一个词在当前文档出现越多、在所有文档出现越少它的区分度就越高。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split # TF-IDF 向量化 tfidf TfidfVectorizer( max_features5000, # 最多保留 5000 个词 ngram_range(1, 2), # 考虑单字和双字词组 min_df2, # 至少在 2 篇文档中出现才保留 max_df0.95, # 出现在超过 95% 文档中的词丢弃 sublinear_tfTrue # 用 1log(tf) 替代原始 tf抑制高频词 ) X tfidf.fit_transform(df[clean_text]) y df[label].values # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )参数逐个说max_features5000控制特征维度太大容易过拟合且训练慢太小会丢失信息5000 是新闻分类的常用起点ngram_range(1,2)让模型同时考虑单个词和相邻两词组合能捕捉突发事件这类搭配但维度会翻倍配合 max_features 使用min_df2过滤只出现一次的词这些词多半是噪声max_df0.95过滤几乎所有文档都有的词它们没有区分力sublinear_tfTrue用对数缩放词频避免某个词重复出现 100 次就主导权重。stratifyy保证训练集和测试集的标签比例一致类别不平衡时尤其重要。random_state42固定随机种子保证结果可复现——这个习惯在调试阶段能帮你省很多时间。4. 训练、评估与调参让模型真正可用4.1 MultinomialNB 训练与首轮评估特征准备好了训练本身只有一行代码但评估要看多个指标。from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # 训练模型 model MultinomialNB(alpha1.0) model.fit(X_train, y_train) # 预测 y_pred model.predict(X_test) # 评估 print(准确率:, accuracy_score(y_test, y_pred)) print(\n分类报告:) print(classification_report(y_test, y_pred, target_names[真实, 虚假])) print(\n混淆矩阵:) print(confusion_matrix(y_test, y_pred))alpha1.0 是拉普拉斯平滑参数作用是防止某个词在训练集中没出现过导致概率为零。alpha 越大平滑越强模型越保守alpha 越小越依赖训练数据。默认 1.0 通常够用但如果你的数据集很小几千条以下可以试试 0.1 到 0.5。评估不能只看准确率。如果数据集里真实新闻占 90%、虚假占 10%一个把所有新闻都判为真实的模型准确率也有 90%但毫无用处。所以必须看精确率判为虚假的里面有多少真的是虚假、召回率真正的虚假新闻有多少被找出来和F1两者的调和平均。分类报告会同时给出这些指标。混淆矩阵更直观四个格子分别是真真实TN、假真实FP、真假假FN、假假假TP。做内容审核时漏判FN通常比误判FP代价更高所以召回率比精确率更值得关注。4.2 交叉验证与 alpha 调参单次划分的评估有随机性换一个 random_state 结果可能差几个百分点。交叉验证能给出更稳定的估计。from sklearn.model_selection import cross_val_score import numpy as np # 5 折交叉验证 scores cross_val_score(model, X, y, cv5, scoringf1) print(5折 F1 均值: %.4f, 标准差: %.4f % (scores.mean(), scores.std())) # 调 alpha alphas [0.01, 0.1, 0.5, 1.0, 2.0, 5.0] for a in alphas: m MultinomialNB(alphaa) s cross_val_score(m, X, y, cv5, scoringf1) print(alpha%.2f, F1%.4f (/- %.4f) % (a, s.mean(), s.std()))逻辑说明cross_val_score 把数据分成 5 份轮流用 4 份训练、1 份验证最后取平均。标准差反映模型稳定性标准差大说明模型对数据划分敏感可能需要更多数据或更强正则。调 alpha 时不要只盯着均值标准差也要看。如果 alpha0.1 的 F1 均值最高但标准差很大而 alpha1.0 均值略低但标准差小生产环境我更倾向选后者——稳定性比峰值更重要。4.3 模型持久化与单条预测训练好的模型要存下来否则每次预测都重新训练不现实。import joblib # 保存模型和向量器 joblib.dump(model, nb_model.pkl) joblib.dump(tfidf, tfidf_vectorizer.pkl) # 加载并预测新新闻 loaded_model joblib.load(nb_model.pkl) loaded_tfidf joblib.load(tfidf_vectorizer.pkl) def predict_news(text): cleaned preprocess_text(text) vec loaded_tfidf.transform([cleaned]) pred loaded_model.predict(vec)[0] proba loaded_model.predict_proba(vec)[0] label 虚假 if pred 1 else 真实 return label, max(proba) # 测试 result, confidence predict_news(某地昨日发生一起交通事故造成三人受伤) print(预测: %s, 置信度: %.2f % (result, confidence))注意预测新文本时必须用同一个 tfidf 向量器做 transform不能重新 fit否则特征空间对不上。这是新手最容易犯的错误之一——训练时用了一个向量器预测时又新建一个结果维度不匹配直接报错。predict_proba返回的置信度可以用来做阈值控制。比如你只希望高置信度的才自动判为虚假低于 0.7 的转人工审核这在内容审核场景里很实用。5. 避坑与排查真假新闻分类的 5 个血泪教训5.1 准确率 95% 但实际不可用——数据泄漏现象模型在测试集上准确率 95% 以上但上线后效果惨不忍睹。原因最常见的是数据泄漏。比如在划分训练集之前就做了 TF-IDF 向量化导致测试集的词汇信息泄漏到了训练阶段或者数据集里真实和虚假新闻来自不同来源模型学到的是来源特征而不是内容特征。解决严格按先划分、后向量化的顺序用 Pipeline 封装可以避免这个错误。另外检查数据集中是否有明显的来源标记比如真实新闻都带某通讯社前缀如果有预处理阶段要删掉。5.2 分词把关键信息切碎了现象模型对某些明显虚假的新闻判为真实人工看文本能看出问题。原因jieba 默认词典不包含新闻领域的专有名词导致关键实体被切碎。比如某市疾控中心被切成某市、疾控、中心语义丢失。解决加载自定义词典把领域内的高频实体加进去。另外可以试试 jieba 的搜索引擎模式jieba.lcut_for_search()它会对长词再切分召回率更高但精度略降。5.3 类别不平衡导致模型偷懒现象虚假新闻的召回率极低大部分虚假新闻被漏判。原因训练集中真实新闻远多于虚假新闻模型倾向于预测多数类。解决三种思路——对少数类过采样SMOTE、对多数类欠采样、或者调整class_prior参数手动设置先验概率。我一般先用class_weightbalanced如果模型支持不行再考虑重采样。评估时用 F1 而不是准确率。5.4 新词不在词表里——OOV 问题现象预测新新闻时报错或预测结果异常。原因新新闻里出现了训练时没见过的词TF-IDF 向量器直接忽略这些词导致向量稀疏甚至全零。解决TF-IDF 本身对 OOV 是容忍的忽略未知词但如果一条新闻的所有词都不在词表里向量就是全零模型会输出先验概率最大的类别。可以在预测前检查向量是否全零如果是则转人工处理。另外min_df不要设太高否则词表太小OOV 问题更严重。5.5 用准确率评估不平衡数据现象模型报告准确率 90%但实际业务方反馈虚假新闻根本没抓出来几条。原因准确率在不平衡数据上具有欺骗性。解决永远同时看精确率、召回率和 F1。做内容审核时如果漏判代价高优先优化召回率如果误判代价高比如误封真实内容优先优化精确率。classification_report一行代码就能给出全部指标没有理由不看。6. 进阶技巧用 Pipeline 把整个流程串起来前面每个步骤都是分开写的实际项目里我更推荐用 sklearn 的 Pipeline 把预处理、向量化、训练串成一条流水线。好处很直接避免数据泄漏、代码更简洁、调参更方便、部署时只需加载一个对象。from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import GridSearchCV # 构建 Pipeline pipe Pipeline([ (tfidf, TfidfVectorizer()), (nb, MultinomialNB()) ]) # 网格搜索参数 param_grid { tfidf__max_features: [3000, 5000, 8000], tfidf__ngram_range: [(1, 1), (1, 2)], tfidf__sublinear_tf: [True, False], nb__alpha: [0.1, 0.5, 1.0, 2.0] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1, n_jobs-1, verbose1) grid.fit(df[clean_text], df[label]) print(最佳参数:, grid.best_params_) print(最佳 F1: %.4f % grid.best_score_) # 保存最佳模型 joblib.dump(grid.best_estimator_, best_pipeline.pkl)逻辑说明Pipeline 把 TF-IDF 和朴素贝叶斯封装成一个整体交叉验证时 sklearn 会自动在每一折内部先 fit 向量器再 transform杜绝了数据泄漏。GridSearchCV 遍历所有参数组合n_jobs-1用满所有 CPU 核心加速verbose1打印进度。参数搜索空间说明max_features 在 3000 到 8000 之间试探太少欠拟合、太多过拟合ngram_range 试单字和双字两种sublinear_tf 试开和关alpha 从 0.1 到 2.0。总共 3×2×2×448 种组合5 折交叉验证就是 240 次训练朴素贝叶斯训练很快几分钟就能跑完。验证方法拿到最佳参数后不要直接信交叉验证的分数一定要在独立测试集上再验证一次。我一般会留一份完全没参与过任何训练和调参的数据作为最终验证这样得到的分数才是对上线效果最诚实的估计。最后说一个我自己的习惯每次跑完模型我都会随机抽 20 条预测错误的样本逐条看。看多了你会发现很多错误不是模型的问题而是数据的问题——标签标错了、文本被截断了、预处理把关键信息删了。模型调参能提升的空间往往有限把数据质量提上去才是收益最大的投入。希望帮到你。本文还有配套的精品资源点击获取 基于朴素贝叶斯的真假新闻分类模型：从数据到部署的完整实战
简介这份资源面向数据挖掘与自然语言处理方向的初学者及进阶学习者围绕朴素贝叶斯算法构建真假新闻分类模型这一典型文本分类任务展开帮助读者掌握从数据准备到模型评估的完整流程。压缩包共4个文件约27.2MB包含两个CSV格式的真假新闻数据集、一份HTML格式的实验报告以及一份ipynb格式的Jupyter Notebook代码分别用于数据存储、结果展示与交互式建模。目前已有163人学习下载。读者可借助该资源完成数据清洗、停用词去除、词干提取、词袋与TF-IDF特征提取等预处理环节并基于scikit-learn实现朴素贝叶斯分类器训练通过准确率、精确率、召回率与F1分数等指标评估模型表现同时了解交叉验证与正则化等避免过拟合的思路为处理类似文本分类问题提供可复用的方法论与代码参考。1. 真假新闻分类模型一条被低估的文本挖掘落地路径刷到一条某地突发重大事件的推送配图模糊、措辞夸张、来源不明——你下意识想验证真假但人工核查成本太高。这正是真假新闻分类模型要解决的问题把新闻文本自动判为真实或虚假二分类。它属于数据挖掘里最经典的文本分类任务核心算法常用朴素贝叶斯算法因为它训练快、对小样本友好、可解释性强非常适合作为入门到落地的第一站。这套方案适合谁有 Python 基础、想跑通一个完整 NLP 分类流程的开发者需要快速搭建内容审核原型的团队以及想理解数据集代码如何配合的学生和转行者。下面我从数据到模型把这条路径拆开讲透。2. 朴素贝叶斯凭什么能判新闻真假原理与选型理由2.1 从贝叶斯定理到朴素假设朴素贝叶斯分类器的根基是贝叶斯定理给定新闻文本的特征词计算它属于真实或虚假类别的后验概率取概率大的那一类作为预测结果。公式不复杂P(类别|文本) P(文本|类别) × P(类别) / P(文本)其中 P(类别) 是先验概率训练集中真实/虚假新闻各占多少P(文本|类别) 是似然该类别的新闻里出现这些词的概率P(文本) 是归一化常数实际比较时可以忽略。朴素二字来自一个强假设各个词之间相互独立。现实中词与词显然有关联突发和事件经常一起出现但工程实践反复验证即便这个假设不成立朴素贝叶斯在文本分类上依然表现稳健。原因在于分类只需要比较大小不需要精确概率值独立性假设带来的偏差在多数场景下不会改变排序结果。我一般会跟团队说如果你要的是能跑、能解释、能快速迭代的基线模型朴素贝叶斯是性价比最高的选择。它不像深度学习那样需要大量调参和 GPU 资源在几千到几万条新闻的数据集上几分钟就能训练完并给出可用的准确率。2.2 三种变体怎么选Multinomial、Bernoulli、Gaussian朴素贝叶斯不是单一算法常见三种变体选错了效果会差很多变体特征类型适用场景真假新闻分类是否推荐MultinomialNB词频整数文本分类、词袋模型推荐最常用BernoulliNB二值0/1短文本、关键词是否存在可作对比基线GaussianNB连续值特征为连续数值不推荐用于文本真假新闻分类的输入是新闻正文经过分词和向量化后天然是词频矩阵所以MultinomialNB 是首选。BernoulliNB 只看词有没有出现而不看出现几次对长新闻会丢失信息但对短标题分类有时反而更好。GaussianNB 假设特征服从正态分布文本词频明显不满足不建议用。选型逻辑很直接先看你的特征是什么类型再选对应变体。不要拿 GaussianNB 硬套文本数据这是新手最常见的翻车点之一。2.3 文本分类完整链路从原始新闻到预测标签一个可落地的真假新闻分类流程包含以下环节每个环节都有坑数据加载读取新闻文本和标签真实/虚假文本预处理去 HTML 标签、去标点、统一大小写、去停用词中文分词如果是中文新闻用 jieba 等工具切词特征提取TF-IDF 或词袋模型把文本转成数值向量训练集/测试集划分通常 8:2 或 7:3模型训练MultinomialNB 拟合预测与评估准确率、精确率、召回率、F1这条链路看起来标准但每一步的参数选择都会影响最终效果。比如 TF-IDF 的 max_features 设多少、停用词表用哪个、分词粒度怎么控制——这些细节决定了模型是能用还是好用。后面几章我会逐个拆开讲。3. 把数据集喂进模型预处理与特征工程实操3.1 数据加载与标签清洗拿到数据集代码的压缩包后第一步不是急着跑模型而是先看清数据长什么样。常见的数据格式是 CSV 或 Excel包含两列新闻正文text和标签label。标签可能是字符串真实/虚假、real/fake也可能是数字0/1。import pandas as pd # 加载数据集注意编码格式中文数据常见 utf-8 或 gbk df pd.read_csv(news_dataset.csv, encodingutf-8) # 查看基本信息 print(df.shape) # 行数和列数 print(df.columns.tolist()) # 列名 print(df[label].value_counts()) # 标签分布 # 统一标签为 0/1方便后续建模 label_map {真实: 0, 虚假: 1, real: 0, fake: 1} df[label] df[label].map(label_map) # 删除标签为空的行 df df.dropna(subset[label, text]) df[label] df[label].astype(int)这段代码做了三件事加载数据、查看分布、统一标签编码。关键参数说明encoding必须和数据文件实际编码一致否则会报 UnicodeDecodeErrorvalue_counts()用来检查类别是否严重不平衡如果真实和虚假比例超过 9:1后续需要做重采样或调整评估指标。标签清洗容易被忽略。我见过数据集里标签有真实、真、real、0四种写法混用的情况不统一就会导致模型只学到部分数据。清洗后一定要再打印一次value_counts()确认。3.2 中文分词与停用词处理中文新闻和英文不同词与词之间没有空格必须先分词。jieba 是最常用的中文分词工具但默认模式对新闻文本不一定最优。import jieba import re # 加载停用词表 def load_stopwords(pathstopwords.txt): with open(path, r, encodingutf-8) as f: return set(line.strip() for line in f) stopwords load_stopwords() def preprocess_text(text): # 去除 HTML 标签 text re.sub(r[^], , text) # 去除 URL text re.sub(rhttp[s]?://\S, , text) # 去除标点和特殊字符只保留中文和数字 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , text) # 分词 words jieba.lcut(text) # 去停用词和单字 words [w for w in words if w not in stopwords and len(w) 1] return .join(words) df[clean_text] df[text].apply(preprocess_text)逻辑说明先去 HTML 标签和 URL这些是新闻爬取时常见的噪声再用正则只保留中文、字母和数字去掉标点符号然后 jieba 分词最后过滤停用词和单字。len(w) 1这个条件是为了去掉的、了、是这类单字噪声但要注意有些关键信息可能是单字比如涨、跌如果你的数据集有金融新闻这个条件要慎重。参数说明停用词表可以自己维护也可以用公开的中文停用词表。jieba 还支持自定义词典如果新闻领域有专有名词比如特定机构名可以jieba.load_userdict(dict.txt)加载避免被切碎。3.3 TF-IDF 向量化参数怎么设文本分词后还是字符串列表模型不认识必须转成数值向量。TF-IDF 是最经典的做法TF 是词频IDF 是逆文档频率一个词在当前文档出现越多、在所有文档出现越少它的区分度就越高。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split # TF-IDF 向量化 tfidf TfidfVectorizer( max_features5000, # 最多保留 5000 个词 ngram_range(1, 2), # 考虑单字和双字词组 min_df2, # 至少在 2 篇文档中出现才保留 max_df0.95, # 出现在超过 95% 文档中的词丢弃 sublinear_tfTrue # 用 1log(tf) 替代原始 tf抑制高频词 ) X tfidf.fit_transform(df[clean_text]) y df[label].values # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )参数逐个说max_features5000控制特征维度太大容易过拟合且训练慢太小会丢失信息5000 是新闻分类的常用起点ngram_range(1,2)让模型同时考虑单个词和相邻两词组合能捕捉突发事件这类搭配但维度会翻倍配合 max_features 使用min_df2过滤只出现一次的词这些词多半是噪声max_df0.95过滤几乎所有文档都有的词它们没有区分力sublinear_tfTrue用对数缩放词频避免某个词重复出现 100 次就主导权重。stratifyy保证训练集和测试集的标签比例一致类别不平衡时尤其重要。random_state42固定随机种子保证结果可复现——这个习惯在调试阶段能帮你省很多时间。4. 训练、评估与调参让模型真正可用4.1 MultinomialNB 训练与首轮评估特征准备好了训练本身只有一行代码但评估要看多个指标。from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # 训练模型 model MultinomialNB(alpha1.0) model.fit(X_train, y_train) # 预测 y_pred model.predict(X_test) # 评估 print(准确率:, accuracy_score(y_test, y_pred)) print(\n分类报告:) print(classification_report(y_test, y_pred, target_names[真实, 虚假])) print(\n混淆矩阵:) print(confusion_matrix(y_test, y_pred))alpha1.0 是拉普拉斯平滑参数作用是防止某个词在训练集中没出现过导致概率为零。alpha 越大平滑越强模型越保守alpha 越小越依赖训练数据。默认 1.0 通常够用但如果你的数据集很小几千条以下可以试试 0.1 到 0.5。评估不能只看准确率。如果数据集里真实新闻占 90%、虚假占 10%一个把所有新闻都判为真实的模型准确率也有 90%但毫无用处。所以必须看精确率判为虚假的里面有多少真的是虚假、召回率真正的虚假新闻有多少被找出来和F1两者的调和平均。分类报告会同时给出这些指标。混淆矩阵更直观四个格子分别是真真实TN、假真实FP、真假假FN、假假假TP。做内容审核时漏判FN通常比误判FP代价更高所以召回率比精确率更值得关注。4.2 交叉验证与 alpha 调参单次划分的评估有随机性换一个 random_state 结果可能差几个百分点。交叉验证能给出更稳定的估计。from sklearn.model_selection import cross_val_score import numpy as np # 5 折交叉验证 scores cross_val_score(model, X, y, cv5, scoringf1) print(5折 F1 均值: %.4f, 标准差: %.4f % (scores.mean(), scores.std())) # 调 alpha alphas [0.01, 0.1, 0.5, 1.0, 2.0, 5.0] for a in alphas: m MultinomialNB(alphaa) s cross_val_score(m, X, y, cv5, scoringf1) print(alpha%.2f, F1%.4f (/- %.4f) % (a, s.mean(), s.std()))逻辑说明cross_val_score 把数据分成 5 份轮流用 4 份训练、1 份验证最后取平均。标准差反映模型稳定性标准差大说明模型对数据划分敏感可能需要更多数据或更强正则。调 alpha 时不要只盯着均值标准差也要看。如果 alpha0.1 的 F1 均值最高但标准差很大而 alpha1.0 均值略低但标准差小生产环境我更倾向选后者——稳定性比峰值更重要。4.3 模型持久化与单条预测训练好的模型要存下来否则每次预测都重新训练不现实。import joblib # 保存模型和向量器 joblib.dump(model, nb_model.pkl) joblib.dump(tfidf, tfidf_vectorizer.pkl) # 加载并预测新新闻 loaded_model joblib.load(nb_model.pkl) loaded_tfidf joblib.load(tfidf_vectorizer.pkl) def predict_news(text): cleaned preprocess_text(text) vec loaded_tfidf.transform([cleaned]) pred loaded_model.predict(vec)[0] proba loaded_model.predict_proba(vec)[0] label 虚假 if pred 1 else 真实 return label, max(proba) # 测试 result, confidence predict_news(某地昨日发生一起交通事故造成三人受伤) print(预测: %s, 置信度: %.2f % (result, confidence))注意预测新文本时必须用同一个 tfidf 向量器做 transform不能重新 fit否则特征空间对不上。这是新手最容易犯的错误之一——训练时用了一个向量器预测时又新建一个结果维度不匹配直接报错。predict_proba返回的置信度可以用来做阈值控制。比如你只希望高置信度的才自动判为虚假低于 0.7 的转人工审核这在内容审核场景里很实用。5. 避坑与排查真假新闻分类的 5 个血泪教训5.1 准确率 95% 但实际不可用——数据泄漏现象模型在测试集上准确率 95% 以上但上线后效果惨不忍睹。原因最常见的是数据泄漏。比如在划分训练集之前就做了 TF-IDF 向量化导致测试集的词汇信息泄漏到了训练阶段或者数据集里真实和虚假新闻来自不同来源模型学到的是来源特征而不是内容特征。解决严格按先划分、后向量化的顺序用 Pipeline 封装可以避免这个错误。另外检查数据集中是否有明显的来源标记比如真实新闻都带某通讯社前缀如果有预处理阶段要删掉。5.2 分词把关键信息切碎了现象模型对某些明显虚假的新闻判为真实人工看文本能看出问题。原因jieba 默认词典不包含新闻领域的专有名词导致关键实体被切碎。比如某市疾控中心被切成某市、疾控、中心语义丢失。解决加载自定义词典把领域内的高频实体加进去。另外可以试试 jieba 的搜索引擎模式jieba.lcut_for_search()它会对长词再切分召回率更高但精度略降。5.3 类别不平衡导致模型偷懒现象虚假新闻的召回率极低大部分虚假新闻被漏判。原因训练集中真实新闻远多于虚假新闻模型倾向于预测多数类。解决三种思路——对少数类过采样SMOTE、对多数类欠采样、或者调整class_prior参数手动设置先验概率。我一般先用class_weightbalanced如果模型支持不行再考虑重采样。评估时用 F1 而不是准确率。5.4 新词不在词表里——OOV 问题现象预测新新闻时报错或预测结果异常。原因新新闻里出现了训练时没见过的词TF-IDF 向量器直接忽略这些词导致向量稀疏甚至全零。解决TF-IDF 本身对 OOV 是容忍的忽略未知词但如果一条新闻的所有词都不在词表里向量就是全零模型会输出先验概率最大的类别。可以在预测前检查向量是否全零如果是则转人工处理。另外min_df不要设太高否则词表太小OOV 问题更严重。5.5 用准确率评估不平衡数据现象模型报告准确率 90%但实际业务方反馈虚假新闻根本没抓出来几条。原因准确率在不平衡数据上具有欺骗性。解决永远同时看精确率、召回率和 F1。做内容审核时如果漏判代价高优先优化召回率如果误判代价高比如误封真实内容优先优化精确率。classification_report一行代码就能给出全部指标没有理由不看。6. 进阶技巧用 Pipeline 把整个流程串起来前面每个步骤都是分开写的实际项目里我更推荐用 sklearn 的 Pipeline 把预处理、向量化、训练串成一条流水线。好处很直接避免数据泄漏、代码更简洁、调参更方便、部署时只需加载一个对象。from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import GridSearchCV # 构建 Pipeline pipe Pipeline([ (tfidf, TfidfVectorizer()), (nb, MultinomialNB()) ]) # 网格搜索参数 param_grid { tfidf__max_features: [3000, 5000, 8000], tfidf__ngram_range: [(1, 1), (1, 2)], tfidf__sublinear_tf: [True, False], nb__alpha: [0.1, 0.5, 1.0, 2.0] } grid GridSearchCV(pipe, param_grid, cv5, scoringf1, n_jobs-1, verbose1) grid.fit(df[clean_text], df[label]) print(最佳参数:, grid.best_params_) print(最佳 F1: %.4f % grid.best_score_) # 保存最佳模型 joblib.dump(grid.best_estimator_, best_pipeline.pkl)逻辑说明Pipeline 把 TF-IDF 和朴素贝叶斯封装成一个整体交叉验证时 sklearn 会自动在每一折内部先 fit 向量器再 transform杜绝了数据泄漏。GridSearchCV 遍历所有参数组合n_jobs-1用满所有 CPU 核心加速verbose1打印进度。参数搜索空间说明max_features 在 3000 到 8000 之间试探太少欠拟合、太多过拟合ngram_range 试单字和双字两种sublinear_tf 试开和关alpha 从 0.1 到 2.0。总共 3×2×2×448 种组合5 折交叉验证就是 240 次训练朴素贝叶斯训练很快几分钟就能跑完。验证方法拿到最佳参数后不要直接信交叉验证的分数一定要在独立测试集上再验证一次。我一般会留一份完全没参与过任何训练和调参的数据作为最终验证这样得到的分数才是对上线效果最诚实的估计。最后说一个我自己的习惯每次跑完模型我都会随机抽 20 条预测错误的样本逐条看。看多了你会发现很多错误不是模型的问题而是数据的问题——标签标错了、文本被截断了、预处理把关键信息删了。模型调参能提升的空间往往有限把数据质量提上去才是收益最大的投入。希望帮到你。本文还有配套的精品资源点击获取