一文快速上手 Python 中文分词神器 —— jieba 库

📅 发布时间:2026/7/6 15:08:09 👁️ 浏览次数:
一文快速上手 Python 中文分词神器 —— jieba 库
一文快速上手 Python 中文分词神器 —— jieba 库2026最新版✂️大家好jieba结巴分词是 Python 中最受欢迎、最好用的中文分词库被称为“中文分词界的瑞士军刀”。无论你做文本分析、情感分析、关键词提取、搜索引擎、聊天机器人、知识图谱jieba 都是入门首选。本文零基础保姆级从安装到高级用法一篇搞定。全部代码直接复制运行即可。1. 安装 jieba超简单# 推荐方式最稳定pipinstalljieba# 或者使用国内镜像加速pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simple jieba安装后验证importjiebaprint(jieba.__version__)# 通常显示 0.42.x 或更高2. 基础分词 —— 三种模式对比最核心importjieba text我爱北京天安门天安门上太阳升。我是中国人我骄傲# 1. 精确模式默认最常用words1jieba.cut(text)print(精确模式:, / .join(words1))# 2. 全模式把所有可能词都切出来速度最快words2jieba.cut(text,cut_allTrue)print(全模式 :, / .join(words2))# 3. 搜索引擎模式适合搜索引擎、关键词提取words3jieba.cut_for_search(text)print(搜索引擎模式:, / .join(words3))实际运行效果2026实测精确模式: 我 / 爱 / 北京 / 天安门 / / 天安门 / 上 / 太阳 / 升 / 。 / 我 / 是 / 中国人 / / 我 / 骄傲 / 全模式 : 我 / 爱 / 北京 / 天安门 / 天安 / 门 / / 天安门 / 上 / 太阳 / 升 / 。 / 我 / 是 / 中国 / 中国人 / / 我 / 骄傲 / 搜索引擎模式: 我 / 爱 / 北京 / 天安门 / 天安 / 门 / / 天安门 / 上 / 太阳 / 升 / 。 / 我 / 是 / 中国 / 中国人 / / 我 / 骄傲 / 3. 实战常用功能直接抄就行① 返回列表推荐seg_listlist(jieba.cut(text))print(seg_list)② 加载自定义词典解决专有名词分错问题# 新建 mydict.txt 文件内容如下每行一个词可带词频和词性# 结巴分词 5 n# 清华大学 10 n# 北京大学 10 njieba.load_userdict(mydict.txt)# 必须在分词前加载print( / .join(jieba.cut(清华大学计算机系的结巴分词做得很好)))③ 关键词提取TF-IDF TextRankimportjieba.analyse text自然语言处理是人工智能的重要分支jieba是Python中最流行的中文分词库。 它支持精确模式、全模式和搜索引擎模式被广泛用于文本挖掘和信息检索。# TF-IDF 关键词提取默认Top20print(TF-IDF关键词:,jieba.analyse.extract_tags(text,topK5,withWeightTrue))# TextRank 关键词提取更适合长文本print(TextRank关键词:,jieba.analyse.textrank(text,topK5,withWeightTrue))④ 词性标注POS Taggingimportjieba.possegaspseg wordspseg.cut(我爱北京天安门)forword,flaginwords:print(f{word}-{flag})# ns地名, v动词, n名词等⑤ 并行分词超大文本加速jieba.enable_parallel(4)# 开启4进程并行分词CPU核数建议设为CPU数-1# 分词后关闭jieba.disable_parallel()4. 生产级最佳实践# 推荐写法一次性初始化多次使用importjieba jieba.initialize()# 提前初始化第一次分词更快defcut_text(text):return .join(jieba.cut(text,cut_allFalse))# 自定义词典 停用词过滤stopwords{的,了,和,是,在,上}result[wforwinjieba.cut(text)ifwnotinstopwords]jieba 常用词性速查面试常问n名词ns地名nr人名v动词vd副动词vn名动词a形容词ad副形词t时间词m数量词5. 性能对比2026实测精确模式约 400 KB/s全模式约 1.2 MB/s最快开启并行后可达 2-3 倍加速6. 作业与进阶方向拿一篇新闻用 jieba 提取 Top10 关键词自定义词典加入你所在公司/学校名称结合wordcloud做词云图想看jieba wordcloud 完整词云项目、jieba sklearn 文本分类实战还是jieba 源码原理深度解析直接在评论区回复“1”“2”“3”我下一篇文章立刻奉上完整代码一句话总结jieba.cut() 是你中文 NLP 的第一行代码。把这篇文章收藏 转发给正在学 NLP 的朋友吧 —— 掌握 jieba你就拥有了处理中文文本的“瑞士军刀”✨本文所有代码基于 jieba 0.42.1 Python 3.12 在 2026 年 3 月实测通过欢迎直接复制运行