文章详细介绍了大模型对话的三大核心技术Token作为最小语义单元的处理机制Temperature和Top-p参数如何控制模型输出的随机性和创造性以及提示词工程如何通过精心设计的提示语引导模型生成高质量内容。通过实例解释了Tokenizer的工作原理、训练过程以及如何通过调整参数和优化提示词来提高大模型的使用效率和输出质量帮助读者从会用到驾驭大模型。一大模型对话之基 - Token• 什么是Token• Token是怎么生成的• Token和字或者词到底是什么关系Token是模型处理自然语言的最小语义单元。每个大模型语言一个上下文窗口都有对应的上下文长度。1.1 大模型的基本工作原理大模型本质是一个巨大的“数学函数”内部全是矩阵运算输入是数字[35,36,34,10]输出也是“数字”[36]根本不理解人类的文字。1.2 翻译官-Tokenizer分词器负责“编码”和“解码”两个环节• 编码文字-数字• 解码数字-文字关键操作• 切分将一个句子分成独立的词语。• 映射将每个词语对应一个数字ID。1.3 Tokenizer的训练过程Tokenizer是被训练出来的业界目前有很多训练Tokenizer的算法如Unigram元分词- Google、BPE字节对编码- Open AI、Anthropic以BPE为例演示Tokenizer的训练流程。BPE算法2016 年被 Rico Sennrich 等人引入 NLP 领域用于分词核心是通过迭代合并高频相邻符号对构建子词表在字符级细粒度与词级语义效率间取得平衡能有效处理未登录词并控制词表大小原理经常一起出现的字——Token。训练材料文章产出训练材料—词表合并规则。张 三 喜 欢 人 工 智 能 吗人 工 智 能 很 智 能人 工 智 能 比 人 工 更 智 能张 三 喜 欢 智 能初始词表记录Token 与 Token ID对应关系的表格单字词表(Token与Token ID是一一对应的关系Token ID无实际含义只是个编号没有特殊的语义在里面)TokenToken ID张1三2喜3欢4…N问题切分为Token问题张三喜欢人工智能吗这种方式一个字就对应一个Token缺陷效率低。理想情况将模型的输入从9个减少至4个模型的推理速度也会更快。找规律构建“高级”词表算法扫描智能x5、人工x4、人工智能x3、张三x2、喜欢x2至此Tokenizer训练完毕。1.4 Tokenize的使用过程回到最初问题“张三喜欢人工智能吗”编码根据合并规则切分结果• 切分张三 喜欢 人工智能 吗• 映射35 36 34 9解码模型输出 36• 映射36——喜欢1.5 Token与字数的换算关系• 256K Token 不等于 256K字/词。• 大致换算关系一个token 1.5 2 个汉字 or 4个英文字母或0.75个英文单词Tokenizer不仅是一个翻译机还是一个压缩机将高频出现的字合并成一个Token可以使得模型输入更少提高模型训练和推理的效率。二大模型对话之度 - Temperature(采样温度)和Top-p(采样概率)控制大模型回答的随机性和创造性。• 高 —— 随机、有创造力• 低 —— 确定、偏向保守试想一下• 问题一为什么需要两个参数• 问题二如果把一个调高一个调低结果会中和吗大模型是如何回答问题的虽然大模型的内部结构无比复杂但是它执行的核心任务其实非常朴素那就是“预测下一个最有可能出现的词”2.1 预测过程拆解转换概率Softmax函数• : 第 i 个词的分数• 词的总量• 第i个词的输出概率实际案例运用加权采样通过概率来生成预测词的过程2.2 Temperature(采样温度)Softmax函数完整版本其中T就是“Temperature”只不过最开始设置成了 T1 T的作用改变不同词的概率差距完整版本2.3 Top-p(采样概率)在加权采样时上面根据每一个词的分数给它们分配了对等的区间然后生成一个随机数来确认预测词。隐患虽然“自行车”和“hello”只有很小的概率但是理论上试的次数足够多或者运气足够好大模型最后还是有可能输出这两个词最终可能获得回答“自行车的维修和保养”长尾词大模型的词汇表里有几十万个词每次回答问题除了头部的几个合理词后面基本上都是拖着长长的一串低概率的垃圾词——长尾词而在上面的例子中“自行车”和“hello”就是与用户毫无关系的长尾垃圾词。防止模型去选择长尾词需要一个保安将这些离谱的选项都拦在门外——Top-pTop Cumulative Probability最高累加概率其中p就是指的一个概率阈值。Top-p相当于一个动态的入门门槛主要用来切断尾部的那些不靠谱的长尾词保证回答不跑题。2.4 总结Temperature控制不同词的概率差距• 调低拉大差距输出稳定• 调高缩小差距输出多样Top-p控制长尾词的概率阈值• 调低去掉长尾输出稳定• 调高放宽门槛输出多样越大越多样——写小说头脑风暴越小越稳定——写代码做数学题三大模型对话之钥提示词工程Prompt Engineering3.1 如何应用和激发大预言模型的能力三种关键方法与应用提示词工程Prompt Engineering 通过精心设计的提示语引导模型按照我们的意图生成内容或完成任务。微调Fine Tuning 在预训练模型的基础上使用特定领域的数据进行训练使模型在特定任务上表现更好。构建智能机器人代理Agent以大语言模型为大脑驱动的系统具备自主理解、感知、规划、记忆和使用工具的能力能够自动化执行完成复杂任务的系统。3.2 提示词工程简介定义• 提示词工程Prompt Engineering就是一门关于如何构造和精炼你的提示词的艺术和科学目的是最大化 AI 模型的性能让它产出更符合你需求的、高质量的输出。• 在人工智能特别是大语言模型如 ChatGPT、Claude、DeepSeek的时代提示词工程已经成为一项至关重要的技能它不再是简单的输入问题而是一种与 AI 高效协作、精准激发其潜能的新型编程。• 提示词工程就像是你在和人工智能AI聊天或下指令时学习如何更好地提问和表达从而让 AI 更准确、更有效地给出你想要的答案或结果。为什么学习提示词工程• 提高准确性不好的提示词可能导致 AI 给出错误、跑题或无用的回答。好的提示词能让 AI 直击核心。• 节省时间通过一次到位的指令减少你和 AI 之间的来回修改和尝试。• 解锁能力有些复杂的任务如总结长文、扮演特定角色、或进行复杂的推理需要特殊的提示词技巧才能激发 AI 的潜力。提示词对比优化前• 模糊的指令“写一篇关于猫的文章。”• 结果生成一篇泛泛而谈、没有重点的文章。使用提示词工程优化后• 经过工程化的指令你是一位宠物科普作家。请以轻松幽默的口吻为养猫新手写一篇 200 字左右的文章重点介绍如何选择第一只猫和接猫回家前三天的必备准备。文章需要包含三个小标题并在结尾给出一个简洁的 checklist。• 结果回答更具针对性、结构清晰且符合具体需求。3.4 提示词工程的关键要素与基础技巧一个有效的提示词通常包含以下几个要素并非唯一标准但很有帮助# 提示词要素说明要素英文说明示例角色与背景Capacity Role为 AI 设定一个身份或场景引导其使用特定的知识体系和表达方式。“你是一位经验丰富的 Python 编程导师。”任务与指令Insight Statement清晰、具体地说明你要 AI 完成什么任务。这是提示词的核心。“请解释 列表推导式 的概念并给出三个由易到难的例子。”步骤与约束Procedure Steps将复杂任务分解为步骤或添加格式、长度、风格等限制条件。“请按以下步骤回答1. 一句话定义。2. 语法说明。3. 示例代码及注释。”输出格式Format Output明确指定你希望的回答格式如 JSON、Markdown、表格、代码块等。“请将对比结果以表格形式呈现包含’方法’、‘优点’、缺点’三列。”输入示例Examples提供一两个输入-输出的例子让 AI 更准确地模仿你想要的模式少样本学习。“例如如果我问’苹果’你应该回答’它是一种水果’。那么当我问’香蕉’时…”基础技巧实践场景让 AI 生成产品特点描述。• 基础版效果一般写一下我们这个新款HydraTech 智能保温杯的特点。• 优化版应用提示词工程# 角色你是一位顶尖的电子产品营销文案写手。# 任务为我公司的新款HydraTech 智能保温杯撰写一段吸引人的产品特点描述。# 约束描述需面向都市白领群体突出健康提醒、长效保温、设计简约三大核心卖点语言简洁有力充满科技感。# 格式最终输出为一段不超过150字的文案并额外用 - 列出三个最突出的技术参数。显然优化后的提示词能引导 AI 生成更符合商业用途的高质量文案。提示词工程的核心就是像教一个新员工一样清晰、完整、有结构地给出指令。记住四要素角色、指令、背景、限制。提示词工程的核心原则明确的角色定位Personal让 AI 扮演一个特定的专家或角色。这能帮助 AI 调整它的语气、知识范围和输出格式。元素示例作用角色“你是一位资深的历史学家。”确保回答专业、严谨。角色“你是一位幽默的朋友。”确保回答轻松、口语化。清晰的任务指令Task/Goal准确地告诉 AI 你想让它做什么。使用动词和明确的结果要求。元素示例作用指令“总结以下文章的三个核心要点。”明确数量和动作。指令“列出一个包含步骤和材料的食谱。”明确格式要求。提供足够的背景信息ContextAI 不是神它需要知道更多关于你的情况才能给出个性化的答案。元素示例作用背景“我正在为五年级的学生准备一堂课。”AI 会使用简单易懂的语言。背景“我的预算是5000元地点在上海。”AI 会基于这些限制条件提供建议。限制条件和格式要求Constraints/Format告诉 AI 不要说什么或者必须以什么形式呈现结果。元素示例作用格式强制使用结构化数据“请用Markdown表格输出。”限制“回答长度不超过100字。”避免冗长保持简洁“回答长度不超过100字。”限制“请用Markdown表格输出。”3.5 实战场景• 场景一写一封感谢信类型内容坏提示词模糊、无要求帮我写一封感谢信。好提示词遵循原则角色/Persona请扮演一位专业的公关人员。 指令/Task为我的老板写一封简短的感谢信感谢他批准了我的年假。 格式/Format信件语气要正式且诚恳长度控制在五行以内。• 场景二学习了一个新概念坏提示词空泛好提示词提供背景和限制什么是黑洞角色/Persona请扮演一名高中物理老师。 背景/Context我是一个对科学感兴趣的高中生刚接触天文学。 指令/Task请用生活中的比喻来解释黑洞是什么。 格式/Format请确保解释清晰易懂并避免复杂的数学公式。从理论到实践一个完整的提示词工作流提示词工程往往不是一蹴而就的而是一个编写 - 测试 - 分析 - 迭代的循环过程。迭代示例第一轮你让 AI “总结一篇文章”结果太笼统。第二轮你修改为用三个要点总结这篇文章的核心论点结果好一些但要点是原文片段的复述。第三轮你再次优化为假设你是中学生用通俗易懂的语言分三个部分总结这篇文章的主要观点并每部分举一个生活中的例子这次你得到了一个结构清晰、易于理解的总结。总结提示词工程不是魔法而是一种可学习的、结构化的沟通技能。 它的本质是 降低模糊性提升对齐度确保你的意图被 AI 精准理解。使用建议从模仿开始多观察和分析优秀的提示词案例如 GitHub 上的 Awesome-Prompts 项目。实践并迭代不要满足于 AI 的第一次回答。多问自己如何能让它更好然后修改提示词再试。建立自己的工具箱将工作中常用的有效提示词如邮件润色、周报生成、代码调试保存下来形成个人生产力工具箱。四其他• 提示词进阶可以参看https://www.promptingguide.ai/zh• 提示词优化网站http://stag-prompt-gu.s.migames.com/• 最后内容核心就是一句话Token 是底层逻辑参数是调控手段提示词是实战武器。三点结合起来从 “只会用大模型” 变成 “会驾驭大模型” 。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】