你是否遇到过这种情况跟着教程安装了一堆 Python 库结果某个库版本冲突程序在本地跑得好好的到了同事电脑上直接报错今天要用 TensorFlow明天要跑一个老项目可项目用的还是 Python 3.6你已经在用 3.11结果所有包挤在一个环境里互相打架更常见的是——你打开 Jupyter Notebook明明刚才在终端里pip install装好了jieba进 Notebook 一import jieba却提示 ModuleNotFoundError。这不是你操作有问题而是你根本没有把“Python 环境”和“Jupyter Notebook 内核”的关系理顺。这篇是环境搭建系列的第二部分P2。上一篇讲过 Python 和基础工具的准备工作这一篇我们聚焦两件事一是用 Virtual Env 为 NLP 项目创建干净独立的 Python 环境二是让 Jupyter Notebook 正确使用这个虚拟环境完成关键词提取全流程。文章里会涉及 Jupyter Notebook 和 Jupyter Lab 的区别、虚拟环境与内核的关系、NLP 关键词提取的完整代码示例以及常见的 Google Colab 之外的本地环境坑。如果你正打算用 Python 做 NLP、文本挖掘、关键词提取这类项目这篇文章建议收藏备用。1. 这篇文章真正要解决的问题先说一个反直觉的事实很多新手甚至工作两年以上的开发者对“虚拟环境”的理解依然停留在“因为教程这么说”的阶段。于是你会在真实项目里反复看到这些场景第一全局环境被污染。pip install装了一堆包今天装numpy明天装transformers后天发现某个项目要求的numpy1.19和你要用的numpy1.24必须同时存在冲突无法解决。第二Jupyter 里的环境不是你以为的环境。有人在终端里用conda activate myenv激活了某个环境然后启动 Notebook发现import的包仍然是另一个环境的。因为 Jupyter Notebook 通过“内核”kernel来执行代码内核指向哪个 PythonNotebook 就使用哪个环境和你终端里激活了哪个环境没有必然关系。第三NLP 项目是环境依赖最敏感的项目类型之一。jieba、nltk、scikit-learn、transformers这些库对 Python 版本和彼此的版本约束非常敏感。比如旧版的sklearn和新版接口完全不一样nltk的数据下载路径、transformers对tokenizers的依赖一不小心就全盘崩溃。这篇文章要帮你解决的核心痛点就是为每个 NLP 项目创建独立的 Python 虚拟环境隔离依赖把这个虚拟环境注册为 Jupyter Notebook 的内核让 Notebook 能用对环境用一个关键词提取的完整示例把从环境到模型的整条链路跑通。适合读者正在学习 NLP、文本挖掘、搜索引擎相关技术的开发者做数据分析和文本处理、想规范化本机环境的工程师以及每次打开 Jupyter 都因为环境问题浪费半天时间的同学。2. Jupyter Notebook、虚拟环境与内核的关系这个部分属于基础但关键务必搞清楚。很多人卡在环境问题上就是因为这三个概念其实是三层东西。2.1 三个概念的定义Jupyter Notebook是一个基于 Web 的交互式开发环境它以.ipynb文件为载体支持代码、Markdown、公式、图表混排。它对 NLP 这类探索式分析特别友好——你可以在一个单元格里写完分词立刻在下一个单元格里看结果再下一个单元格做可视化。Jupyter Lab是 Notebook 的下一代界面同一窗口里可以并排打开 Notebook、终端、文件管理器更接近一个“Web IDE”。两者的内核机制完全相同本篇写完的配置对 Lab 同样有效。Python 虚拟环境Virtual Env是一个独立的 Python 运行目录里面有自己的site-packages包目录可以理解为给项目单独开了一个“厨房”互不干扰。最常见的工具是 Python 自带的venv和 Anaconda 的conda create。2.2 内核才是 Notebook 的执行引擎关键来了Jupyter Notebook 本身不执行 Python 代码。你在单元格里写的代码是发给后台的 “kernel” 去执行的。这个 kernel 是一个独立的 Python 进程它使用哪个 Python 解释器、哪个包目录取决于你启动 kernel 时用的环境。所以你会发现你在终端里conda activate myenv后pip install jieba然后你在另一个终端启动jupyter notebook打开 Notebook 后右上角显示的内核是Python 3用的是 base 环境import jieba失败为什么因为 Notebook 关联的内核是 base Python你的jieba装在myenv里两者根本不认识。这就是最大的认知偏差。2.3 一个类比帮助理解把 Jupyter Notebook 当成一个“遥控器”它会向后台的“播放器”发送指令。内核就是那个播放器它的底层是某个特定的 Python 环境。你换了个地方装了一堆新歌安装包但是遥控器对应的播放器还是原来那个自然放不出新歌。要让新歌能放要么换一个支持新歌的播放器切换内核要么让原来的播放器也连上你的新歌库把包装进当前内核的环境。从这个角度就能理解 Jupyter 生态里最常用的一个操作把虚拟环境注册为内核。3. 环境准备与前置条件开始动手之前先明确本文演示的环境假设。操作系统Windows / macOS / Linux 都可以命令略有区别Python 版本推荐 3.8 及以上具体版本以你实际安装为准本文不绑定某个特定版本工具选择本文以conda为例同时给出python -m venv的对应命令包管理器pip如果你用 conda 也可以但pip install更通用如果你没有安装 Anaconda建议优先安装 Anaconda因为它自带 Python、Jupyter、常用数据科学包对新手上手最友好。如果你更喜欢原生 Python也可以直接装官方 Python然后手动安装 jupyterlab。另外强调一个判断Notebook 和 Lab 不是二选一大多数情况下环境一样界面不同。对于 NLP 开发我更推荐 Lab因为它能同时开多个 Notebook、终端和文件面板调试效率更高。但如果你已经习惯了 Notebook可以继续用本篇所有配置完全通用。安装完成后在终端里验证python --version jupyter --version conda --version # 如果你使用 Anaconda / Miniconda能正常输出版本信息就说明基础环境 OK。4. 创建 Python 虚拟环境并安装依赖4.1 选择虚拟环境工具venv 还是 conda先给结论如果只是做 NLP 这类偏数据科学的项目用conda create更方便因为 conda 能锁 Python 版本还能管理部分非 Python 依赖。如果已经在用官方 Python不想装 Anaconda那就用python -m venv轻量干净。更稳妥的习惯是一个项目一个环境不要所有项目用同一个环境。这句话值得多强调几遍因为绝大多数新手栽过的坑就是所有项目共用 base 环境。4.2 用 conda 创建环境conda create -n nlp-env python3.9 -y conda activate nlp-env其中nlp-env是环境名称可以自己改。python3.9可以改成你需要的版本号。4.3 用 venv 创建环境mkdir nlp_project cd nlp_project python -m venv venvWindows 激活venv\Scripts\activatemacOS / Linux 激活source venv/bin/activate激活后终端提示符前会多一个(venv)或(nlp-env)说明当前终端已经进入该虚拟环境。4.4 安装 NLP 与 Jupyter 相关依赖激活环境后在环境内安装依赖pip install --upgrade pip pip install jupyterlab pip install jieba scikit-learn pandas如果要做更完整的 NLP 实验可以追加pip install nltk pip install gensim这里jieba是中文分词库scikit-learn用于 TF-IDF 特征计算和关键词排序pandas做数据处理jupyterlab是本篇要用的交互界面。注意这里安装的包只属于 nlp-env 这个环境不会污染全局环境。这就是虚拟环境的隔离价值。5. 在 Jupyter Notebook 中注册虚拟环境内核环境创建好、依赖装好后很多人的下一步是直接敲jupyter lab。结果打开 Notebook发现内核名称还是Python 3用的是 base 环境。这就回到了第 2 节说的核心概念。要解决这个问题需要把刚才创建的环境注册成 Jupyter 的内核。5.1 安装 ipykernel激活目标环境后先安装ipykernelconda activate nlp-env pip install ipykernel5.2 注册内核python -m ipykernel install --user --name nlp-env --display-name NLP Env命令解释--user给当前用户注册内核避免权限问题--name内核的内部名称建议和虚拟环境名一致--display-name在 Jupyter 界面上显示的名称可以写成方便识别的中文或英文执行成功后终端会输出Installed kernelspec nlp-env in /Users/xxx/Library/Jupyter/kernels/nlp-env看到这行说明注册成功。5.3 验证内核是否生效启动 Jupyter Labjupyter lab在界面右上角点击内核名称默认是Python 3选择刚才注册的NLP Env。然后在第一个单元格里执行import sys print(sys.executable)如果输出路径中包含nlp-env说明 Notebook 当前使用的 Python 就是你的虚拟环境环境隔离成功。很多教程到这里就结束了但实际开发中还远远不够因为真正考验一个环境好不好用是它跑不跑得通完整的 NLP 流程。6. NLP 关键词提取完整示例关键词提取是 NLP 里最常见的基础任务之一广泛应用于 SEO 文章分析、新闻主题识别、舆情监控、推荐系统标签生成。它的核心目标是从一段文本中自动找出最能代表主旨的词语。这里我们实现一个经典方案jieba 分词 TF-IDF 关键词提取。TF-IDF 是一个统计学方法核心思想是TF词频衡量一个词在本文档中出现的次数次数越高越重要IDF逆文档频率衡量一个词在所有文档中的区分能力越冷门但越能代表文档的词IDF 越大两者相乘得到单词的权重权重越高越可能是关键词。6.1 完整代码在 Jupyter Notebook 的新单元格中创建如下代码。建议先在一个新文件中编写保存为keyword_extraction.py再逐步在 Notebook 中改写成单元格形式便于理解。# -*- coding: utf-8 -*- 基于 jieba scikit-learn 的 TF-IDF 关键词提取示例 运行前提已经激活 nlp-env 虚拟环境并安装了 jieba / scikit-learn import jieba import jieba.analyse from sklearn.feature_extraction.text import TfidfVectorizer # 1. 准备待分析的文本 text Python 是一门非常流行的编程语言在人工智能、数据分析和自然语言处理领域应用广泛。 自然语言处理是人工智能的一个重要方向它研究如何让计算机理解、处理和生成人类语言。 关键词提取是自然语言处理中的基础任务它可以从一段文本中自动找出重要的词语。 这篇文章主要介绍如何利用 Python 搭建自然语言处理环境并进行关键词提取。 虚拟环境可以帮助开发者隔离不同项目的依赖避免版本冲突。 Jupyter Notebook 是数据科学领域非常流行的交互式开发工具它支持代码、文档和可视化的一体化操作。 # 2. 方案一jieba 自带 TF-IDF 关键词提取 print( 方案一jieba.analyse.extract_tags ) tags jieba.analyse.extract_tags(text, topK10, withWeightTrue) for word, weight in tags: print(f{word}\t{weight:.4f}) print() # 3. 方案二自定义 TF-IDF 向量化提取关键词 print( 方案二scikit-learn TfidfVectorizer ) def get_tfidf_keywords(text, topK10): 使用 TfidfVectorizer 提取关键词 # 先用 jieba 对文本进行分词再用空格连接 words jieba.lcut(text) # 过滤掉单个字符和空字符保留长度大于1的词 words [w.strip() for w in words if len(w.strip()) 0] word_str .join(words) # 创建 TF-IDF 向量器 vectorizer TfidfVectorizer( token_patternr(?u)\b\w\b, # 用正则匹配词语 max_features1000 # 最多提取 1000 个特征 ) # 注意TfidfVectorizer 需要传入一个文档集合列表 # 这里把单个文本作为唯一文档 tfidf_matrix vectorizer.fit_transform([word_str]) # 获取特征词列表 feature_names vectorizer.get_feature_names_out() # 获取每个词的 TF-IDF 权重 # todense() 将稀疏矩阵转换为稠密矩阵 weights tfidf_matrix.toarray().flatten() # 组合成 (词, 权重) 列表并按权重降序排列 word_weights list(zip(feature_names, weights)) word_weights.sort(keylambda x: x[1], reverseTrue) return word_weights[:topK] keywords get_tfidf_keywords(text, topK10) print(词/权重结果) for word, weight in keywords: print(f{word}\t{weight:.4f})6.2 代码核心逻辑说明这段代码包含两层价值第一jieba.analyse.extract_tags是最省事的方案两行代码直接得到关键词和权重。它的内部实现也基于 TF-IDF 思路同时附带了一些停用词过滤和词性筛选适合快速实验。第二TfidfVectorizer是更“工业化”的方案。当你需要自定义语料库、自定义停用词表、或者把 TF-IDF 特征喂给下游模型时就得用这种写法。TfidfVectorizer返回的是一个稀疏矩阵实际项目里文档量可能百万级一定不要转换成稠密矩阵直接存内存否则内存很容易爆掉。这里为了演示单文档结果才用toarray()。真正容易踩坑的地方在于TfidfVectorizer默认期望的输入是字符串列表每个字符串是一个文档。如果你传入的是原始中文文本而没有分词效果会很差因为英文分词靠空格天然完成而中文分词必须显式调用jieba完成。6.3 如何运行如果你在终端运行整个脚本conda activate nlp-env python keyword_extraction.py如果你在 Jupyter Notebook 中演示则把代码拆成几个单元格第一个单元格导入库 定义文本第二个单元格jieba 方案第三个单元格TF-IDF 方案这样做的好处是你可以单独看每步的输出方便排查。7. 运行结果与效果验证7.1 预期输出如果环境配置正确、代码运行成功你会在终端或 Notebook 单元格下方看到类似如下输出 方案一jieba.analyse.extract_tags 自然语言处理 0.3184 关键词提取 0.2632 文本 0.1662 Python 0.1371 虚拟环境 0.1210 开发者 0.1082 ... 方案二scikit-learn TfidfVectorizer 词/权重结果 自然语言处理 0.4865 关键词提取 0.4123 Python 0.3652 ...数值不必完全一致因为权重会受分词结果和版本影响但有几个判断标准自然语言处理、关键词提取这类领域核心词应该排在前列的、了、是这类停用词不应该出现在结果前列两个方案返回的关键词应该有较大重合但权重不同。如果结果里全都是“的”“了”“是”这类词说明停用词过滤没做好需要在分词后添加自定义停用词表。7.2 如何判断环境是否成功运行关键词提取本身只是验证模型但要确认你是用 nlp-env 跑出来的可以单开一个单元格执行import jieba print(jieba.__file__)如果输出路径包含nlp-env例如/Users/xxx/anaconda3/envs/nlp-env/lib/python3.9/site-packages/jieba/__init__.py说明 Jupyter 内核已经指向虚拟环境所有包从虚拟环境加载。如果路径是 base 环境或系统 Python说明内核切换失败回到第 5 节重新检查。7.3 失败时的第一步排查顺序先执行import sys; print(sys.executable)确认内核指向哪个 Python再执行pip list看目标包里有没有 jieba / scikit-learn然后pip show jieba看包安装在哪个路径最后检查 ipykernel 是否注册到了正确的环境大多数内核不生效的问题都出在这四步中的某一步。8. 常见问题与排查思路下面这张表是大量本地环境问题的高度浓缩建议直接收藏。问题现象可能原因排查方式解决方案Jupyter Notebook 页面空白浏览器缓存、Jupyter 版本问题、端口冲突查看终端日志换浏览器清理浏览器缓存升级jupyterlab尝试jupyter notebook --no-browser换端口启动在终端激活了虚拟环境但在 Notebook 里 import 报错内核没有指向虚拟环境Notebook 使用 base 内核在 Notebook 里执行sys.executable看路径用ipykernel将虚拟环境注册为内核并在 Notebook 中切换内核已经切换内核但 import 的包版本不对同一个包在虚拟环境和 base 环境都有安装内核切换后解释器与包路径不一致pip show 包名查看路径确保激活环境后重新安装依赖可在 Notebook 中手动sys.path.insert或使用pip --user定位安装包时报ERROR: Could not find a version that satisfies the requirementPython 版本过高或过低包不支持查看包官方支持的 Python 版本范围创建环境时指定合适的 Python 版本pip install很慢或超时默认源访问慢查看 pip 日志配置国内镜像源如清华源、阿里源Windows 下activate命令不生效激活命令输错或使用了 PowerShell 与 CMD 混用检查终端类型确认路径分隔符Windows CMD 用venv\Scripts\activate.batPowerShell 用venv\Scripts\Activate.ps1启动 Jupyter 后找不到刚注册的环境注册时使用的 Python 与启动 Jupyter 的 Python 不一致在终端执行which python/where python确保在目标环境内安装 ipykernel 并注册TfidfVectorizer报empty vocabulary文本分词后所有词都被过滤检查停用词表确认 token_pattern 匹配中文用 jieba 分词后再构造文档字符串每个环境下问题细节会有差异但排查思路是一致的先定位内核路径再定位包路径最后对比版本。不要一上来就重装整个 Conda那是最后手段。9. 最佳实践与工程建议走到这一步环境已经能为你的 NLP 项目服务了。这里再补充几条工程上非常实用的建议帮助你避免从“能跑”到“好维护”之间的坑。9.1 一个项目一个环境环境命名要规范建议环境名和项目名保持一致比如项目叫news_classification环境名就叫news-classification-env。这样你电脑上环境多了以后不会出现“昨天建的环境叫什么来着”的尴尬。9.2 使用 requirements.txt 锁定依赖当项目可以正常运行后在项目根目录导出依赖清单pip freeze requirements.txt其他人拿到项目后创建新环境并安装依赖conda create -n new-env python3.9 -y conda activate new-env pip install -r requirements.txt这比你让同事一个个pip install要可靠得多。对于 NLP 项目requirements.txt还能记录 jieba、nltk、scikit-learn 的精确版本避免“我这能跑你那跑不了”。9.3 不要什么都往 base 环境里装Anaconda 安装后自带一个base环境很多人图省事直接conda install/pip install往里装包。短时间很爽时间长了 base 环境就会变成“垃圾场”依赖冲突的概率指数上升。更稳妥的做法是base 环境只用于 conda 和 jupyter 的基础启动项目依赖全部放在各自的虚拟环境里。9.4 大模型与预训练模型依赖要单独处理如果你后续要跑 BERT、GPT 这类预训练模型依赖会更复杂torch、transformers、tokenizers、sentencepiece这些库对 Python 版本和 CUDA 版本都有要求。建议为这类项目单独创建环境比如python3.10并查看对应框架的官方安装命令不要凭感觉安装。PyTorch 的安装命令和 Python 版本、CUDA 版本强相关直接pip install torch大概率会装到 CPU 版本在本地跑大模型会慢很多。9.5 内核命名也建议带上项目标识注册内核时--display-name不要只写Python 3而是写成NLP Env甚至NLP Project (py39)。这样 Jupyter 界面里能一眼认出该选哪个内核尤其是本机注册了多个项目内核之后。9.6 定期清理不再使用的内核和环境用以下命令可以查看本机注册的所有内核jupyter kernelspec list删除不需要的内核jupyter kernelspec remove old-kernel-nameconda 环境查看和删除conda env list conda env remove -n old-env环境长期不用会占用大量磁盘空间一个 Anaconda 环境动辄几 GB建议定期整理。10. 总结与后续学习方向到这里你已经完成了一条完整的 NLP 本地开发链路创建虚拟环境 → 安装 Jupyter 与 NLP 依赖 → 注册 Jupyter 内核 → 用 Notebook 运行关键词提取。这个过程看起来简单但它解决的是很多 NLP 新手真正困扰的核心问题——环境混乱带来的挫败感。下一步你可以从三个方向继续深入第一把关键词提取换成真正的文本分类任务。用同样的环境尝试朴素贝叶斯或者逻辑回归对新闻文本分类你会发现环境部分不需要变只需要加数据和模型代码。第二尝试引入nltk做更标准的英文 NLP 预处理比如去掉停用词、词形还原再对比中文 NLP 的分词差异。理解中英文预处理的差异是进入更深层 NLP 的必经之路。第三如果你打算做真正的大模型应用比如基于预训练模型的文本摘要或情感分析建议保留当前环境在此基础上研究transformers库。届时你会依赖更大的依赖集当前这套环境管理方法依然适用。关于 Jupyter Notebook 和 Jupyter Lab 的选择我的观点是日常交互探索用 Lab跑定时任务用 Python 脚本 虚拟环境不要所有事情都挤在 Notebook 里完成。把你本机环境从“一团乱麻”变成“一个项目一世界”这本身就是 NLP 工程师走向工程化的重要一步。建议收藏这篇文章等到你真的在 Jupyter 里踩到环境坑的时候照着排查表逐条看大概率能救急。