一、引言电商评论是消费者决策、商家运营与平台治理的核心依据。但刷单、刷评、水军、机器生成评论等行为严重污染数据生态。本文从合规采集、清洗预处理、多维度识别、模型落地四个环节给出一套可直接落地的电商评论爬取与虚假评论识别完整思路。二、电商评论爬取合规、稳定、结构化1. 核心原则合规优先遵守平台Robots 协议与用户协议优先使用官方开放 API控制频率、不爬隐私数据、不用于非法牟利2. 技术选型Python 生态轻量采集Requests BeautifulSoup/XPath动态渲染Playwright/Selenium大规模分布式Scrapy反爬支撑代理池、随机 UA、Cookie 池、请求间隔3. 采集字段标准化商品 ID、用户 ID、昵称、等级评分、评论内容、追评、图片 / 视频标签评论时间、购买时间、是否带图设备 / IP平台可见、点赞 / 回复数4. 反爬应对要点优先抓接口 JSON少解析 HTML随机延时 1~3 秒禁用多线程狂飙异常捕获 重试 断点续爬避免固定 URL、固定参数、固定顺序5. 存储方案临时CSV/JSON中型SQLite/MySQL大规模Elasticsearch必做去重、时间分片、增量更新三、数据预处理清洗是识别的前提去重完全重复、高度相似评论过滤空内容、纯表情、纯符号、无意义短句清洗去除广告、二维码、外链、特殊字符标准化时间格式化、评分归一、文本统一编码分词jieba 分词停用词过滤四、虚假评论识别四层规则 模型融合第一层规则引擎快速上线时间异常短时间密集好评、集中零点 / 凌晨行为异常新号、零购买、批量好评、无追评文本异常通篇夸、无细节、模板化、极端词堆砌评分异常全 5 星、无中差评、集中满分第二层文本特征NLP相似度余弦相似度 / SimHash识别批量刷评情感极性极端正面、无负面、无中性细节密度真实评论含场景 / 缺点假评论空洞词汇特征高频营销词、第一人称过量、无具体功能第三层行为与图特征用户行为注册时长、历史评论数、跨店刷评图结构用户 - 商品二部图、GCN 挖掘团伙统计特征评论时长分布、间隔分布、点赞分布第四层机器学习 / 深度学习模型传统机器学习TF-IDF 逻辑回归 / SVM/XGBoost深度学习BERT/RoBERTa 做语义分类方案BERT 提取文本特征 行为特征拼接 全连接分类输出虚假概率、置信度、证据链五、识别流程标准 Pipeline爬取 → 去重清洗 → 特征工程规则初筛 → 模型精判 → 人工复核结果入库 → 监控迭代 → 规则更新六、典型虚假评论模式刷单好评内容雷同、时间集中、全五星、无细节机器生成通顺但空洞、句式固定、无个人体验水军差评同行攻击、内容极端、批量发布返利好评引导话术、统一模板、带指定关键词七、落地建议先规则后模型快速见效建立标注样本库持续迭代做可视化看板异常时段、异常用户、相似评论提供证据链时间线、相似度、行为轨迹合规部署避免法律风险八、总结电商评论治理的核心是 **“采集稳、清洗净、识别准、迭代快”**。先以规则 统计特征搭建基线再用 BERT 等模型提升精度结合用户行为与图特征可有效过滤绝大多数虚假评论让评论数据真正服务于消费决策与商业分析。