ChatGLM-6B是清华大学知识工程和数据挖掘小组Knowledge Engineering Group (KEG) Data Mining at Tsinghua University发布的一个开源的对话机器人。6B表示这是ChatGLM模型的60亿参数的小规模版本约60亿参数。ChatGML-6B-int4量化模型是针对ChatGML-6B做的优化版本占用更少的资源以便个人电脑进行部署测试和使用。大模型的部署一般需要GPU资源而个人电脑一般都是Windows操作系统且没有独立的GPU。那么大模型如何部署在只有CPU的Windows机器上呢需要额外安装一个叫TDM-GCC的软件。下面详细阐述ChatGML-6B-int4量化模型在Windows PC上的操作过程环境准备ChatGML-6B-int4量化模型部署需要提供python运行环境、安装好Git版本管理工具和TDM-GCC软件。1. 安装AnacondaAnaconda是可以便捷获取包且对包能够进行管理同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。下载安装Anaconda官方下载地址www.anaconda.com/download/ 下载之后一路点击【next】即可安装完成。配置环境变量在PC电脑的环境变量Path中增加Anaconda相关的环境变量。makefile 复制代码 E:\Anaconda E:\Anaconda\Scripts E:\Anaconda\Library\mingw-w64\bin E:\Anaconda\Library\usr\bin E:\Anaconda\Library\bin注意其中E:\Anaconda改为Anaconda自己的安装根目录。修改pip镜像源修改pip安装软件的镜像源可以加速依赖下载速度。csharp 复制代码 # 阿里源 pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/2. 安装GitGit Windows版本下载地址git-scm.com/download/wi… 下载之后可以一路点击【next】即完成安装通过如下命令查看版本信息复制代码 git version3. 安装TDM-GCCTDM-GCC主要对模型一些C代码提供编译环境下载地址jmeubank.github.io/tdm-gcc/ 下载之后可以一路点击【next】即完成安装。模型部署1. 下载模型源码并安装依赖1在你的工作目录打开命令提示窗口默认下载到当前目录bash 复制代码 git clone https://github.com/THUDM/ChatGLM-6B2切换到chatGLM-6B目录bash 复制代码 cd ChatGLM-6B3创建conda的虚拟环境,指定Python的版本ini 复制代码 conda create -n VENV310 python3.104激活环境复制代码 conda activate VENV3105下载依赖包复制代码 pip install -r requirements.txt本节指定的版本非常重要否则会在下载依赖包环节出现各种问题。 本节操作目的主要是为下面的量化模型提供运行脚本和运行环境。2. 下载量化模型ChatGML-6B-int4量化模型下载比较麻烦需要到huggingface网站下载需要用到科学上网。网上说国内魔搭社区下载的模型代码不完整。在huggingface上下载又有两种方式通过Git下载和浏览器下载。1Git下载方式bash 复制代码 git lfs install git clone https://huggingface.co/THUDM/chatglm-6b-int4可以将该工程下载到chatGLM-6B目录下面。2浏览器下载 在浏览器打开huggingface.co/THUDM/chatg…将目录下的文件全部下载到如下目录bash 复制代码 chatGLM-6B/chatglm-6b-int4 #如果没有该目录则新建3. 运行量化模型模型运行脚本文件为ChatGLM-6B\cli_demo.py修改该文件的模型加载代码改为加载chatglm-6b-int4量化模型。修改内容如下ini 复制代码 # tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm-6b, trust_remote_codeTrue) # model AutoModel.from_pretrained(THUDM/chatglm-6b, trust_remote_codeTrue).half().cuda() tokenizer AutoTokenizer.from_pretrained(chatglm-6b-int4, trust_remote_codeTrue) model AutoModel.from_pretrained(chatglm-6b-int4,trust_remote_codeTrue).float()注意量化模型目录chatglm-6b-int4一定要保证与当前文件在同一个父目录下。运行出现的问题1在启动cli_demo的时候报错No module named ‘readline’ 解决方案下载pyreadline3在当前激活的虚拟环境中执行如下命令复制代码 python -m pip install pyreadline2在启动cli_demo的时候报错AttributeError: module ‘collections’ has no attribute ‘Callable’ 解决方案这是pyreadline依赖包的文件py3k_compat.py有问题需要修改依赖包的代码把return isinstance(x, collections.Callable)改为 return isinstance(x, collections.abc.Callable)即可正常使用。处理完上述问题之后ChatGLM-6B\cli_demo.py该脚本可以正常运行控制台会输出脚本内置问题的答案由于电脑配置的问题结果输出非常缓慢且我的CPU使用率一直是100%爆了想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2026 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”