ChatGLM-6B快速部署Python调用API接口代码实例想快速体验一个能理解中文、能连续对话的智能助手吗今天就来聊聊怎么把ChatGLM-6B这个强大的开源对话模型跑起来并且用Python代码直接调用它。ChatGLM-6B是清华大学和智谱AI联合推出的一个62亿参数的中英双语对话模型。它最大的特点就是“聪明”且“接地气”——不仅能回答各种问题还能记住对话上下文跟你聊得有来有回。更重要的是它完全开源我们可以自己部署使用。这篇文章会带你走完从部署到调用的完整流程。你不用懂复杂的模型训练也不用担心环境配置跟着步骤走半小时内就能拥有一个属于自己的智能对话服务。1. 环境准备一键启动ChatGLM服务首先你需要一个能运行ChatGLM-6B的环境。最省事的方法就是使用预置好的Docker镜像里面已经把模型、依赖、Web界面都打包好了真正做到了开箱即用。1.1 启动服务核心命令假设你已经通过CSDN星图镜像广场找到了ChatGLM-6B的镜像并完成了部署。现在通过SSH连接到你的服务器启动服务只需要一行命令supervisorctl start chatglm-service这个命令会启动一个后台服务。supervisor是一个进程管理工具它能确保你的ChatGLM服务一直在线万一程序意外退出了它还会自动帮你重启非常省心。怎么知道服务启动成功了呢查看服务状态supervisorctl status chatglm-service如果看到RUNNING状态就说明一切正常。1.2 本地访问Web界面服务在服务器上跑起来了但我们怎么在本地电脑上跟它对话呢这就需要用到“端口转发”。服务器上的ChatGLM服务运行在7860端口。我们通过SSH命令把这个端口“映射”到我们自己电脑的7860端口上ssh -L 7860:127.0.0.1:7860 -p 你的服务器SSH端口 root你的服务器IP或域名执行完这条命令后SSH连接会保持。此时在你本地电脑的浏览器里打开http://127.0.0.1:7860。一个简洁美观的对话界面就会出现在你面前你可以直接在文本框里输入问题比如“介绍一下你自己”然后点击提交就能看到ChatGLM-6B的回复了。这个Web界面还支持调节“温度”参数控制回答的随机性、清空对话历史等功能非常方便。2. 超越Web界面用Python代码调用APIWeb界面虽然方便但如果我们想在自己的程序里集成ChatGLM的能力比如做一个自动客服机器人或者给其他应用添加智能对话功能就需要通过代码来调用了。好消息是这个镜像不仅提供了Web界面还内置了一个简单的API服务。下面我们就来看看怎么用Python代码跟它“对话”。2.1 理解API的调用方式镜像内置的API服务通常提供了一个HTTP接口。我们的Python程序需要向这个接口发送一个HTTP请求请求里包含我们想说的话prompt然后接口会返回模型生成的回答。这个过程就像你给一个朋友发微信消息然后等待他回复一样。只不过这里的“朋友”是运行在服务器上的ChatGLM模型“发消息”和“收回复”是通过网络请求完成的。2.2 编写你的第一个调用代码我们来写一个最简单的Python脚本实现一次对话。你需要先确保电脑上安装了requests这个库如果没有可以用pip install requests安装。import requests import json # 1. 定义API的地址 # 注意这里的地址和端口需要根据你实际的部署情况修改 # 如果你在服务器本地测试就用 127.0.0.1:7860 # 如果你从另一台机器调用需要换成服务器的IP或域名 api_url http://127.0.0.1:7860/api/chat # 这是一个示例地址具体路径请查看镜像文档 # 2. 准备你要发送的数据 # 通常需要包含你的问题prompt有时还需要一些参数 payload { prompt: 你好请用简单的语言介绍一下人工智能。, history: [], # 如果是第一次对话历史为空。如果要连续对话这里需要填入之前的对话记录。 max_length: 2048, # 生成回答的最大长度 top_p: 0.7, # 核采样参数影响多样性 temperature: 0.95 # 温度参数值越高回答越随机有创意值越低越稳定确定 } # 3. 设置请求头告诉服务器我们发送的是JSON格式的数据 headers { Content-Type: application/json } # 4. 发送POST请求 try: response requests.post(api_url, datajson.dumps(payload), headersheaders) # 5. 检查请求是否成功 if response.status_code 200: # 解析返回的JSON数据 result response.json() # 通常回答会在返回数据的某个字段里比如 response answer result.get(response, 未找到回复字段) print(ChatGLM-6B 的回答) print(answer) else: print(f请求失败状态码{response.status_code}) print(f错误信息{response.text}) except requests.exceptions.ConnectionError: print(连接失败请检查) print(1. API服务地址和端口是否正确) print(2. 服务器上的ChatGLM服务是否已经启动) print(3. 防火墙是否放行了对应端口) except Exception as e: print(f发生未知错误{e})把上面代码里的api_url换成你实际的服务地址运行一下。如果一切配置正确你会在终端里看到ChatGLM-6B对你问题的回答。2.3 实现多轮连续对话智能对话的魅力在于上下文记忆。ChatGLM-6B支持多轮对话它能记住之前聊过什么。在代码里实现这个功能关键在于维护一个history列表。每次调用API时我们不仅发送当前的问题还要把之前所有轮次的对话历史一起传过去。模型会根据完整的历史来生成更连贯、更相关的回答。import requests import json class ChatGLMClient: def __init__(self, api_basehttp://127.0.0.1:7860): self.api_url f{api_base}/api/chat # 根据实际API路径调整 self.history [] # 用于保存对话历史 def chat(self, user_input): 发送用户输入并获取模型回复 # 准备本次请求的载荷 payload { prompt: user_input, history: self.history, # 传入历史对话 max_length: 1024, temperature: 0.8 } headers {Content-Type: application/json} try: response requests.post(self.api_url, datajson.dumps(payload), headersheaders) if response.status_code 200: result response.json() model_reply result.get(response, ) # 将本轮对话加入历史 # 历史格式通常是[[用户问题1, 模型回答1], [用户问题2, 模型回答2], ...] self.history.append([user_input, model_reply]) return model_reply else: return f错误API请求失败 ({response.status_code}) except Exception as e: return f连接错误{e} def clear_history(self): 清空对话历史 self.history [] print(对话历史已清空。) # 使用示例 if __name__ __main__: client ChatGLMClient() print(开始与ChatGLM-6B对话输入退出结束输入清空重置历史) print(- * 40) while True: user_input input(\n你) if user_input.lower() 退出: print(对话结束。) break elif user_input.lower() 清空: client.clear_history() continue reply client.chat(user_input) print(fChatGLM{reply})运行这段代码你就可以在命令行里跟ChatGLM-6B进行连续对话了。它会记住你之前问过的问题和它的回答让整个对话看起来更自然、更智能。3. 进阶技巧与实用建议掌握了基础调用后我们来看看怎么用得更好以及如何避免一些常见的坑。3.1 调节参数获得更理想的回答你可能注意到了调用API时需要设置temperature、top_p这些参数。它们就像是模型的“性格调节器”温度 (temperature)范围通常在0.1到1.0之间。这个值调低比如0.2模型的回答会非常稳定、确定每次问同样的问题回答都差不多。这个值调高比如0.95回答会更有创意、更多样但也可能更“天马行空”。写正式报告时调低头脑风暴时调高。最大生成长度 (max_length)限制模型一次最多生成多少个字。设得太短回答可能不完整设得太长又可能生成无关的废话。对于一般问答1024到2048是个不错的范围。Top-p (核采样)和温度类似也控制多样性。通常设置0.7到0.9。建议对于严肃的问答比如知识查询把温度设低点0.3-0.5对于创意写作或聊天可以设高点0.7-0.95。多试几次找到最适合你场景的组合。3.2 处理常见的错误与问题刚开始调用时可能会遇到一些问题别慌大部分都好解决连接被拒绝检查API地址和端口对不对检查服务器上的chatglm-service是不是RUNNING状态。回复速度慢ChatGLM-6B有62亿参数生成回答需要一些计算时间尤其是生成长文本时。这是正常的。你可以通过设置较小的max_length来加快速度。回答不相关或质量差尝试调整temperature参数。如果问题很模糊模型也可能答非所问试着把你的问题问得更具体、更清晰。内存不足如果在资源有限的机器上运行可能会遇到内存错误。确保你的服务器有足够的GPU或CPU内存。在调用时也可以尝试减少max_length来降低内存消耗。3.3 将ChatGLM集成到你的项目中现在你已经能用Python代码调用ChatGLM了可以想想它能用在哪儿智能客服助手写一个脚本自动读取用户问题调用ChatGLM生成回复再发送给用户。内容创作工具给它一个标题或关键词让它帮你写文章大纲、营销文案甚至短故事。学习伙伴做一个问答程序用它来解答关于某个知识领域比如编程、历史的问题。数据分析助手虽然ChatGLM主要处理文本但你可以把数据总结成文字描述让它分析或者让它帮你生成数据报告的评论部分。集成时记得做好错误处理比如网络超时重试、给用户的回答加上安全过滤避免生成不合适的内容并且注意API调用的频率别把服务器压垮了。4. 总结我们从启动ChatGLM-6B的预置镜像服务开始一步步走到了用Python代码灵活调用其API接口。整个过程并不复杂核心就是两步启动服务和发送HTTP请求。回顾一下关键点使用supervisorctl可以方便地管理后台服务确保稳定性。通过SSH端口转发我们能在本地电脑上访问远程服务器的Web界面。用Python的requests库调用API是实现程序集成的最直接方式。维护好history列表是实现多轮智能对话的核心。善用temperature等参数可以控制模型回答的风格和质量。ChatGLM-6B作为一个开源且效果出色的中文对话模型为我们提供了巨大的想象空间。无论是做研究、开发产品还是单纯满足好奇心现在你都已经掌握了让它“动起来”并为你所用的基本方法。剩下的就是去探索和创造它在你具体场景中的价值了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。