简介面向需要完成中文情感分析实践或课程设计的学生与开发者这份资源以酒店评论为语料提供了一套基于 Python 的完整实现方案内容覆盖语料预处理、分词、停用词过滤、词向量构建、主成分分析与支持向量机分类等关键步骤契合入门自然语言处理与文本分类任务的学习路径。资源共 2000 个文件压缩后约 950KB主体为 txt 格式的正负向评论文本及停用词表另有 5 个 Python 脚本和 1 份 Markdown 说明文档。脚本按数据处理流程串联可逐步运行并复现整个情感分析过程适合对照学习或作为项目基础。目前已有 1427 人学习下载通过这套内容读者既能获得可直接用于训练的酒店评论数据集也能从脚本中理解中文文本从清洗到建模的工程实现并可将同类方法迁移到其他领域的情感分析场景。1. 酒店评论中文情感分析为什么用Python先对齐数据再谈模型很多人看到“利用Python实现酒店评论的中文情感分析含数据集”这个标题第一反应是找数据集第二反应是调模型。实际动手后会发现最难的不是模型而是“情感”的标准没对齐。酒店评论是典型的中文短文本口语词多、行业词密集、评分和文本经常互相打脸。好在标签可以由评分自动生成坏在标签噪声不小而这两点恰好让酒店评论成为入门中文情感分析最合适的场景。下面按数据集清洗、分词、特征工程、训练评估、避坑、进阶验证这条路线展开。适合两类人想用NLP做数据分析的从业者以及想在差评里找规律、推进服务改进的运营。2. 数据准备酒店评论数据集清洗与标签映射的落地细节第一步不是跑代码而是先明确数据集长什么样。标题说“含数据集”但不同来源的数据集字段差别很大。常见公开数据集是CSV或TXT格式最少包含评论内容和评分两个字段。我一般先把字段对齐成一张表comment是评论原文score是1到5的评分user_id用来区分评论者hotel_name和date在后续做分维度分析时有用。不要因为建模只用两个字段就丢掉user_id第5章会用到它排查数据泄漏。2.1 数据集结构评论内容、评分、用户ID三个字段缺一不可什么是合格的数据集第一看样本量几千条就能跑一个稳定的baseline上万条会更从容第二看评分分布差评占比最好有10%以上全是五星好评的数据没有区分度第三看字段comment、score、user_id是三个底线字段。公开数据集一般缺user_id如果是自己爬建议把用户昵称或ID存下来。import pandas as pd df pd.read_csv(hotel_reviews.csv, encodingutf-8-sig) print(df.columns.tolist()) print(df.shape) print(df[score].value_counts().sort_index()) print(df[user_id].nunique()) # 复查评论者数量encodingutf-8-sig是个坑Excel导出的CSV常带BOM头或GBK编码用默认编码读会乱码。遇到乱码就把编码参数换成encodinggbk。这是一个很常见的小型翻车点。环境上建议用vscode加一个虚拟环境来跑全套代码pip安装pandas、jieba、scikit-learn、matplotlib就够了。vscode的Python环境配置算不上难但解释器没选对会让import报错花十分钟配好后面就不会再碰环境问题。2.2 清洗与去噪正则只删URL和不碰标点和数字酒店评论的噪声主要是URL、用户、多余空白和表情符号。清洗要克制最常见的错误是把评论当成普通文本做“净化”删掉数字、删掉标点、删除单个字最后情感信号也被删没了。比如“12点才给房”里的“12点”是时间信息“位置绝了”里的感叹号是情绪表达都不该动。import re def clean_text(s: str) - str: s s.lower() s re.sub(rhttps?://\S|www\.\S, , s) # 去掉URL s re.sub(r\w, , s) # 去掉提到的用户名 s re.sub(r\s, , s).strip() return s df[comment] df[comment].astype(str).apply(clean_text) df[comment_len] df[comment].apply(len) df df[df[comment_len] 2]清洗逻辑lower()让写法归一URL和是纯噪声删掉不影响语义保留标点的原因是“”和“”在短文本里有明显的情感倾向。清洗后过滤掉长度小于2的评论这些空壳文本进特征工程只会制造无意义样本。2.3 标签映射星级转情感标签3分为什么不能硬塞评分范围是1到5常见映射策略是做二分类4分和5分算正面1分和2分算负面3分直接丢弃。3分评论的内容通常是“还行”“一般般”这种文本既没有强正向也没有强负向信号硬塞进二分类会让模型学到错误边界。如果业务上必须处理中评正确做法是做三分类而不是硬标。df df[df[score] ! 3].copy() df[label] (df[score] 4).astype(int) print(df[label].value_counts(normalizeTrue))这里需要做一次标签方向检查正面比例如果在70%以上很正常如果低于50%要回去复查评分字段是否被倒序读取。另外评分和文本错位的样本暂时不处理等到第5章再讲怎么收拾。注意爬取评论用于学习没问题但如果要把整理后的数据集二次分发先确认来源平台的条款。训练用可以打包分发不行。3. 分词与特征工程Jieba加TF-IDF把评论变成可训练向量的三个关键参数数据准备好了文本还是字符串直接扔给模型不现实。中文句子没有天然空格需要先分词再决定用什么特征表达。这个环节有三个关键决策用什么分词器、用什么特征方式、参数取多少。下面按Jieba分词、TF-IDF向量化、基线模型选型三个部分展开。3.1 Jieba分词自定义词典、停用词表和短文本清洗策略Jieba是中文分词的常见选择安装简单、词典可扩展。酒店评论里的“前台”“早餐”“隔音”“落地窗”这类词Jieba默认词典经常拆得不对解决方式是建一个自定义词典格式为“词 词频 词性”一行一个词。import jieba jieba.load_userdict(hotel_dict.txt) # hotel_dict.txt 内容示例 # 隔音 100 n # 早餐 200 n # 前台 150 n加载自定义词典后对每条评论做分词并把停用词过滤掉。停用词表不建议直接套用网上通用的中文停用词表里面经常包含“不但”“而且”这类词酒店评论场景用不上而且通用表会把“不”“太”“绝”这些带情感色彩的字眼误删。我的做法是先用通用表跑一轮词频统计再把出现频率高且无语义的词加进自己的停用词文件。stopwords set(w.strip() for w in open(stopwords.txt, encodingutf-8)) def tokenize(text: str) - str: seg jieba.lcut(text.strip()) words [w for w in seg if w not in stopwords and w.strip()] return .join(words) df[comment_seg] df[comment].apply(tokenize) empty_mask df[comment_seg].str.strip() print(f分词后空串样本数: {empty_mask.sum()}) df df[~empty_mask]初始化阶段需要加载Jieba词典第一次运行会慢几秒这是词典装载不是卡死。分词之后要检查是否有评论被过滤成空串。如果有说明停用词表删得太狠把这些空串样本剔除即可同时要回到停用词表里把误删的词找回来。3.2 TF-IDF特征max_features、ngram_range、min_df三个参数怎么定分词完成后下一步是把词序列变成数值向量。文本分类领域里TF-IDF加线性模型在小样本上是最可靠的组合不需要额外的词向量训练。TF-IDF的核心思想是一个词在单条评论里出现越多越重要在全部评论里出现越广越不重要。from sklearn.feature_extraction.text import TfidfVectorizer vec TfidfVectorizer( max_features8000, ngram_range(1, 2), min_df3, max_df0.5, sublinear_tfTrue, ) X vec.fit_transform(df[comment_seg]) print(X.shape)几个参数的具体含义max_features8000只保留词频最高的8000维特征防止维度爆炸。酒店评论语料达到一万条时原始词表通常在几万维多数是只出现过一次的罕见词保留它们只会加剧过拟合。ngram_range(1,2)同时保留单词和相邻两词。bigram能捕捉“不满意”“服务差”这类组合信号但不要轻易加trigram样本量不够时会制造大量稀疏列。min_df3意味着只在一条或两条评论里出现的词会被丢弃。这些词大概率是拼写错误或个性化表达不携带群体性情感。max_df0.5用于丢弃在超过一半评论里出现的词比如“酒店”“房间”它们没有区分度。sublinear_tfTrue把词频从线性计数换成对数计数压缩高频词的优势这在长文本情感任务里是常规处理。这里的fit_transform是在全量数据上做探索性检查正式训练时必须在训练集上重新fit避免测试集信息泄漏第4章会给出正确写法。3.3 基线模型为什么用逻辑回归而不是朴素贝叶斯分词和向量化的参数都定好后需要一个基线模型来评估特征质量。常见选择是逻辑回归它训练快、输出概率、权重可解释。朴素贝叶斯在文本分类里也是经典选择但它的朴素假设是特征相互独立这个假设在中文情感场景下不成立否定词和情感词高度关联贝叶斯会把“不”和“满意”当作独立证据叠加效果会差一截。from sklearn.linear_model import LogisticRegression model LogisticRegression(C1.0, max_iter1000, class_weightbalanced)C是正则强度的倒数C越小正则越强。文本TF-IDF特征维度高C默认值1.0通常能跑出合理结果。如果验证集的F1不稳定或训练不收敛把C调到0.1或加大到10再观察验证集变化。class_weightbalanced按类别频率自动调整权重对差评少的酒店评论数据很有必要。还要强调一点先用这个简单模型跑通全流程再考虑BERT之类的大模型。很多项目里基于TF-IDF的逻辑回归已经能满足业务需求先有基线再做迭代才能在后续模型升级时判断真实收益。4. 模型训练与评估stratify、差评召回率、混淆矩阵这组指标比准确率有用特征和模型都确定了现在把数据切分成训练集和测试集训练并评估。这里最大的坑是酒店评论的类别不平衡好评占比常常达到70%以上。如果只看准确率模型把全部评论判成好评也能有70多分这个准确率和业务价值毫无关系。4.1 数据集划分stratify保证训练集与测试集的类别比例一致train_test_split的默认行为是按比例随机抽样不保证和原数据同分布。差评只占20%时随机切分的测试集里差评可能只剩几十条评估结果会抖动得很厉害。加stratify参数让划分结果按原样本的标签比例分层抽取。from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( df[comment_seg], df[label], test_size0.2, stratifydf[label], # 按标签比例分层 random_state42, # 固定随机种子结果可复现 )random_state42看起来像玄学其实是为了让实验可复现不固定种子的话每次跑代码切分出的数据不同模型效果无法对比。调参时固定种子才能判断是参数变化带来了提升还是随机波动。正式训练时向量化必须在训练集上重新fit测试集只做transformvec TfidfVectorizer( max_features8000, ngram_range(1, 2), min_df3, max_df0.5, sublinear_tfTrue, ) X_train_vec vec.fit_transform(X_train) X_test_vec vec.transform(X_test)这样特征分布完全从训练集中学习不会把测试集信息带进训练过程。很多新手把fit_transform用在全量数据上再切分训练测试集短期看不出问题换数据或上线后就容易翻车。4.2 评估指标准确率之外关注差评召回率和F1评估阶段输出classification_report就够了它会一次性给出每类别的精确率、召回率、F1以及整体准确率。from sklearn.metrics import classification_report, confusion_matrix model LogisticRegression(C1.0, max_iter1000, class_weightbalanced) model.fit(X_train_vec, y_train) y_pred model.predict(X_test_vec) print(classification_report(y_test, y_pred, target_names[负面, 正面], digits3)) print(confusion_matrix(y_test, y_pred))在酒店评论这个场景里最该关注的是“负面”这一行的召回率。为什么会漏掉差评模型一直输出好评准确率也有七成但没有给运营带来任何价值。差评召回率代表差评里有多少条被正确捞出来了运营盯差评处理差评的核心诉求就是别漏。如果想进一步压低漏报可以把判断阈值从默认的0.5往下调。逻辑回归输出的不是标签是概率y_proba model.predict_proba(X_test_vec)[:, 1] y_pred_adj (y_proba 0.45).astype(int)阈值降到0.45意味着拿不准的评论倾向于判成差评差评召回率会上升正面精确率可能会小幅下降。这个阈值怎么定取决于业务里漏判一条差评和误判一条好评哪个代价更高。酒店差评处理场景下漏掉差评的代价通常更高。调整后重新跑一遍classification_report对比两个阈值下的变化再做决定。4.3 结果可视化用词频对比检查和验证模型学到了什么评估指标达标最好再对文本特征做一次可视化检查。常见做法是统计正面和负面评论里的高频词并横向对比。这一步不是给老板看报表而是验证模型没有学到脏信号。from collections import Counter def top_words(docs, n30): counter Counter() for doc in docs: counter.update(doc.split()) return counter.most_common(n) pos_words top_words(df[df[label] 1][comment_seg]) neg_words top_words(df[df[label] 0][comment_seg])正面词云里如果出现“不”“但是”负面词云里出现“服务”说明特征工程或清洗出了问题。正常状态下正面高频词应该是“干净、方便、热情、早餐”负面高频词应该是“隔音、卫生、态度、等”。用词频检查能发现很多数字指标看不出来的隐患。这个可视化验证环节跟在vscode里跑通模型一样属于每次迭代都必须做完的收尾动作。5. 避坑指南酒店评论情感分析里最常见的五个翻车场景下面把实操中高频出现的坑汇总成五条每条按“现象、原因、解决”的方式写。这些坑单看每一个都不算致命但叠在一起会让模型效果从可用变成不可用。5.1 标签与文本错位五星好评里藏着大量负面情绪现象模型训练完发现“位置绝了”被判成差评“服务极差”被判成好评。查看原始样本时发现用户给了5分却在文本里抱怨“酒店设施一般但位置太好了走路五分钟到景点”。评分是行为文本是真实态度两者经常不一致。用评分直接映射标签会把这类噪声全部灌进训练集。原因标签映射只看了评分没看文本。用户给五星可能是因为位置、价格不代表服务体验好。把评分当成唯一标准模型学到的边界就被错位样本带偏。解决清洗阶段增加一步噪声过滤。把得分和文本情绪不一致的样本剔除或者把评分与文本都做独立标注再取交集。实操中常见做法是给错位样本单独建一个排除集当评论里出现明确负面词且评分为4分以上时把这行删除。5.2 停用词表一刀切把“不、太、绝了”全删了现象分词后把“不”加进停用词表模型把“不满意”判成满意因为“满意”还在、“不”被删了把“太”删掉“太好了”变成“好了”情感强度全丢。原因通用中文停用词表是按公文和新闻场景整理的里面“不”“别”“太”等副词在情感任务里恰恰是核心情感信号。直接套用通用表等于把最关键的否定词和程度副词删干净了。解决停用词表要按任务自定义。先把原始词频统计跑出来确认哪些词对区分情感没有贡献再决定过滤哪些。宁可少删也不要多删。至少“不”“太”“很”“千万别”这类词要留在特征里。5.3 超短评论被清空训练集悄悄变小现象训练集加载了5000条清洗后变成3500条训练时还有几百条样本分词后是空字符串直接报错或者被模型当作异常值丢弃。原因停用词过滤和单字过滤叠加把“好”“赞”“差”这类单字评论全部清空短文本样本成了牺牲品。解决分词后检查样本长度把分词结果为空的样本单独过滤并统计被过滤的数量。处理完后打印一下剩余样本量确认数据规模没有急剧缩水。如果短评占比本来就高可以考虑不做停用词过滤只过滤纯标点和URL。5.4 差评占比太低准确率虚高现象评估指标里准确率95%但差评召回率只有20%业务方根本不敢用。原因酒店评论通常七成以上好评类别严重不平衡。逻辑回归用默认比例训练决策时天然偏向多数类差评被淹没。解决训练时设置class_weightbalanced让少数类获得更高的损失权重评估时不看整体准确率把“负面”一行的精确率和召回率作为主要参考。如果差评占比低于5%先考虑多做一轮困难样本挖掘再训练而不是直接堆模型。5.5 同一用户多发评论测试集悄悄泄漏现象验证集效果比上线后效果好很多实际部署后准确率明显下滑。原因数据清洗时忽略了user_id唯一性。同一个用户对同一家酒店写多条评论或者同一用户出现在多条不同酒店的评论里按照普通随机切分时同一人的文本会同时落入训练集和测试集形成数据泄漏。模型在“背答案”而不是学规律。解决按user_id做去重或分组切分。最简单的做法是每条评论只保留每个用户一条更严谨的是按用户分组切分让同一用户的所有评论只出现在同一侧。如果你的数据没有user_id那就按评论文本做近似去重把完全重复、高相似度的评论去掉也能降低泄漏风险。6. 进阶验证从TF-IDF换到预训练模型再补一轮人工抽查前面的流程已经能产出一个可用的情感分析模型。如果想把准确率再往上提一档下一步是放弃TF-IDF加逻辑回归改用预训练模型做微调。6.1 从词频模型到预训练模型迁移学习的收益边界常见做法是加载一个中文预训练模型在自己的评论数据集上做分类微调from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer AutoTokenizer.from_pretrained(bert-base-chinese) model AutoModelForSequenceClassification.from_pretrained( bert-base-chinese, num_labels2)微调时epochs取3batch size用16或32学习率2e-5。几万条酒店评论级别的数据在普通单卡GPU上十几分钟到半小时能跑完一轮。没有GPU用CPU也能跑只是时间成倍拉长。预训练模型对语义的理解明显强于词频特征“隔音不好但地理位置方便”这种转折结构TF-IDF很难把握预训练模型能学到上下文关联。但要泼一盆冷水预训练模型在小样本和噪声标签上一样会过拟合并不会因为模型复杂就自动免疫前面的坑。我自己的习惯是无论用哪个模型每次迭代后都抽100条预测结果出来人工过一遍。重点不是看整体准确率而是把“模型判正面但内容明显在吐槽”的样本一条条翻出来反问自己是标签错了、分词错了、还是这类样本没进训练集这些样本收集起来回填进下一轮训练效果往往比调参数更明显。这个验证闭环很土但救过我很多次。文本情感分析的终点不是指标达标而是抽样结果让懂业务的人点头。希望这套方法对你也有帮助在酒店评论或者类似的短文本场景里少走几趟弯路。本文还有配套的精品资源点击获取