说实话我刚开始接触LLM API的时候也是一脸懵——以为调个接口就完事了结果发现Token怎么算、上下文怎么管理、Function Calling怎么用全都是坑。结果你猜怎么着**深入研究了OpenAI、Google、Anthropic等平台的开发者文档后我发现LLM的用好和会用之间隔着整整七个核心技能。**今天就把这些掏心窝子的经验分享出来全是实战干货建议收藏。一、Token与计费你以为的按字收费其实是按Token收费很多开发者第一次用LLM API时最大的困惑就是为什么我给模型发了一段100字的中文计费显示消耗了200多个Token1.1 什么是Token根据OpenAI官方文档的解释Token是模型处理文本时的最小单位。它不是按字或词来切的而是按常见的字符序列来切分的。举个例子英文单词 “the” → 1个Token英文单词 “tokenization” → 被拆成 “token” “ization”共2个Token中文字符 → 通常1个汉字 1~2个Token具体取决于TokenizerOpenAI提供了一个 Tokenizer工具你可以输入任意文本实时看到它是如何被切分成Token的。经验法则对于英文文本1个Token ≈ 4个字符 ≈ 0.75个单词对于中文文本1个Token ≈ 0.5~1个汉字。如果你要估算一次API调用的成本先算Token数再乘以单价。1.2 各平台的Tokenizer差异不同平台使用的Tokenizer不同同样的文本消耗的Token数也会不同平台Tokenizer特点OpenAI (GPT系列)cl100k_base / o200k_base英文效率高中文相对费TokenGoogle (Gemini)SentencePiece多语言平衡中文效率较好Anthropic (Claude)Claude Tokenizer长文本场景优化分词粒度适中Meta (LLaMA)BPE (Byte Pair Encoding)开源通用社区衍生版本多实际影响同样的中文Prompt在GPT-4上可能比Gemini多消耗20%~30%的Token。如果你的应用主要处理中文内容这一点会显著影响成本。1.3 计费结构Input OutputLLM API的计费通常是Input Token Output Token分开计价而且Output Token的单价往往比Input贵2~4倍。以OpenAI为例单位每百万Token模型Input价格Output价格gpt-5.5$5.00$15.00gpt-5.4-mini$0.50$2.00GPT-4o$2.50$10.00省钱技巧如果你的场景主要是读取大量文档然后给出简短结论如摘要Output很少但Input很多那Input单价低的模型更划算。反之如果是写长文Output单价就更关键。误区很多开发者只看每百万Token多少钱却忽略了Output比Input贵得多。一个生成2000字长文的请求Output Token可能是Input的5~10倍。二、上下文窗口为什么模型会健忘你有没有遇到过这种情况给模型发了一篇长文档让它总结结果它只总结了前半部分后半部分完全没提这不是模型偷懒而是它遭遇了上下文窗口Context Window的限制。2.1 什么是上下文窗口上下文窗口 模型一次能记住的最大Token数。它包括三部分System Prompt系统指令User Input用户输入Assistant Output模型输出如果三者加起来超过了模型的最大上下文长度超出部分就会被截断或遗忘。OpenAI官方文档明确指出对于文本生成模型Prompt和生成的输出加起来不能超过模型的最大上下文长度。2.2 各平台上下文窗口对比上下文窗口的大小直接决定了模型能处理多长的文档模型上下文窗口能处理多长的文本GPT-4o128K tokens约300页PDFClaude 3.5 Sonnet200K tokens约500页PDFGemini 1.5 Pro1M tokens约整本书籍GPT-5.5128K tokens约300页PDF划重点上下文窗口大 ≠ 模型能精准记住所有内容。研究表明模型对上下文中间部分的注意力会下降称为Lost in the Middle现象。所以即使窗口有128K最重要的信息也应该放在Prompt的开头和结尾。2.3 超长文本的应对策略策略1分块处理Chunking把长文档切成多个小块分别让模型处理最后再合并结果。这是RAG检索增强生成的核心思路。策略2摘要级联Summarization Chain先让模型分别总结每个章节再把所有章节摘要拼起来让模型做最终总结。这样每层都不会超过上下文限制。策略3选择长上下文模型如果场景确实需要处理超长文档如法律合同审阅直接选用Claude或Gemini的长窗口模型比做复杂的分块逻辑更省事。三、Function Calling让LLM从聊天变成干活这是我认为LLM从玩具升级为工具的最关键技术。Function Calling函数调用允许模型在对话过程中决定调用你预先定义好的外部函数从而获取实时数据或执行实际操作。3.1 核心机制三步走根据OpenAI官方文档Function Calling的工作流程如下Step 1定义函数— 你在API请求中传入一组函数定义函数名、参数、描述。Step 2模型决策— 模型根据用户输入判断是否需要调用某个函数。如果需要它返回一个JSON格式的函数调用请求而不是直接回答。Step 3执行与反馈— 你在本地执行函数拿到结果后把结果再发回给模型模型基于函数返回值生成最终回答。举个例子用户问今天北京天气怎么样你定义了一个get_weather(city)函数模型识别到用户问天气返回{name: get_weather, arguments: {city: 北京}}你调用天气API拿到数据发回给模型模型生成今天北京晴25°C适合出行。3.2 各平台的Function Calling对比平台名称特点OpenAIFunction Calling支持并行调用多个函数JSON Schema严格GoogleFunction Calling与Gemini原生多模态结合支持声明式工具AnthropicTool Use强调安全性和可控性支持Computer UseMetaTool Calling (via vLLM)开源生态灵活社区方案丰富3.3 实战代码示例OpenAIfrom openai import OpenAI client OpenAI() # 定义工具 tools [{ type: function, function: { name: get_weather, description: 获取指定城市的天气, parameters: { type: object, properties: { city: {type: string, description: 城市名称} }, required: [city] } } }] # 第一轮对话模型决定调用函数 response client.responses.create( modelgpt-5.5, input北京今天天气怎么样, toolstools ) # 执行函数并返回结果 weather get_weather(北京) # 第二轮对话模型基于函数结果生成回答 response client.responses.create( modelgpt-5.5, input[ {role: user, content: 北京今天天气怎么样}, {role: assistant, content: response.output_text}, {role: user, content: f天气结果{weather}} ] )记住一个原则Function Calling的本质不是让模型执行代码而是让模型做决策——决定调用什么函数、传什么参数。函数的实际执行必须在你的代码里完成模型本身不会直接访问外部系统。四、多模态能力LLM不止于文字2024年GPT-4o的发布标志着一个重要转折LLM不再只是文字处理器而是开始统一处理文字、图片、音频、视频。4.1 各平台多模态能力对比能力OpenAIGoogleAnthropic文本理解✅ 全系支持✅ 全系支持✅ 全系支持图片理解✅ GPT-4o/Vision✅ Gemini原生多模态✅ Claude 3 Vision音频理解✅ GPT-4o实时语音✅ Gemini Audio❌ 暂不支持视频理解⚠️ 需拆帧处理✅ Gemini原生支持❌ 暂不支持图片生成✅ DALL·E / GPT-4o✅ Imagen❌ 暂不支持关键差异Google Gemini 是原生多模态——它的训练数据本身就包含了图文音视频的对齐数据所以理解跨模态内容更自然。而OpenAI的GPT-4o虽然也能处理多模态但在架构上更像是在文本模型基础上叠加了视觉/音频编码器。4.2 多模态的实际应用场景场景1文档OCR 理解上传一张发票照片模型直接提取金额、日期、税号并判断是否符合报销规则。这在财务自动化中非常有用。场景2UI截图转代码把设计稿截图发给模型让它生成对应的HTML/CSS代码。GPT-4o和Gemini在这方面表现都不错。场景3视频内容分析Gemini可以直接上传视频文件模型自动理解视频内容并生成摘要。OpenAI则需要先把视频拆成关键帧图片再逐帧分析。五、推理模型从背诵答案到逐步思考2024年底OpenAI发布了o1 / o3系列模型正式把推理能力从大语言模型的通用能力中剥离出来做成了专门的推理模型Reasoning Model。5.1 推理模型与普通LLM的区别普通LLM如GPT-4的回答方式是**“一步到位”**看到问题直接生成答案。这种模式在简单问题上很快但面对复杂逻辑题、数学证明、代码调试时容易一口说错。推理模型如o1/o3则采用**“思维链Chain of Thought 强化学习”**的方式模型在内部生成多个思考步骤对每个步骤进行自我验证和修正最后基于验证后的思路给出答案你可以把它理解为普通LLM是脱口而出推理模型是先打草稿再回答。5.2 什么时候该用推理模型推理模型的Output Token消耗通常比普通模型高3~10倍因为它内部要生成大量思考过程所以不是什么时候都用。适合的场景数学/逻辑题复杂的数学证明、逻辑推理代码调试定位深层Bug需要多步推理策略分析商业决策、风险评估等需要权衡多方面因素的场景科学计算物理、化学等需要精确推导的问题不适合的场景简单的问答、文案创作、翻译——这些用普通模型更快更便宜。划重点推理模型的思考过程对开发者是黑盒的OpenAI不暴露内部思维链你只能通过调整reasoning_effort参数来控制思考的深度。取值有 low / medium / high。六、Prompt Engineering不是玄学是工程很多开发者觉得Prompt Engineering就是多试几次找到好说法其实这是有方法论可循的。OpenAI和Anthropic的官方文档都给出了系统化的最佳实践。6.1 结构化Prompt的黄金公式一个高质量的Prompt通常包含四个部分【角色定义】你是一位资深Java架构师 【任务描述】请审查以下代码找出潜在的性能问题和安全漏洞 【输入数据】 java // 待审查的代码 【输出格式】 1. 问题概述一句话 2. 具体位置行号 3. 严重程度高/中/低 4. 修复建议带代码示例 5. 解释原因为什么这是个问题这个结构化的Prompt让模型明确知道我是谁、我要做什么、输入是什么、输出要什么格式。比一句简单的帮我看看这段代码效果好得多。6.2 少样本提示Few-shot Prompting如果你的任务有明确的格式要求最好在Prompt里给1~3个示例。这就是Few-shot Prompting。OpenAI官方文档明确指出“Designing a prompt is essentially how you ‘program’ a model, usually by providing instructions or some examples of how to successfully complete a task.”举个例子如果你要让模型做情感分析可以这样写请判断以下评论的情感倾向只输出正面、负面或中性。 示例1 评论这款手机续航太差了一天要充三次电 结果负面 示例2 评论快递很快包装也很严实满意 结果正面 待分析 评论价格还行但屏幕亮度一般 结果6.3 系统提示词System Prompt的重要性System Prompt是每次对话的全局设定它会在每一轮对话中默默影响模型的行为。根据各平台文档System Prompt的作用包括定义角色“你是一位专业的医疗顾问”约束行为“不要提供医疗诊断建议只提供一般性健康信息”设定格式“所有回答必须用Markdown格式”注入知识“你熟悉我们公司的产品矩阵包括A、B、C三款产品”误区很多人只在User Message里写指令忽略了System Prompt。实际上System Prompt的权重更高模型更倾向于遵守System级别的设定。七、模型选型与成本优化不是越贵越好最后来聊聊一个实际的问题面对这么多模型我该怎么选7.1 选型决策树根据任务类型选择模型可以大幅降低成本任务类型推荐模型理由简单问答/分类gpt-5.4-mini / Gemini Flash速度快、成本低足够胜任复杂推理/创意写作GPT-4o / Claude Sonnet质量高适合需要智力的任务超长文档处理Claude 3.5 / Gemini 1.5 Pro上下文窗口大长文本理解精准数学/代码推理o1 / o3 (OpenAI)推理能力强适合需要多步思考的场景图片/视频理解GPT-4o / Gemini Pro多模态能力强原生支持本地部署/隐私敏感LLaMA / Qwen开源模型可本地运行数据不出境7.2 成本优化的三个技巧技巧1Prompt缓存Prompt CachingOpenAI和Anthropic都支持Prompt Caching——如果你每次请求的System Prompt和上下文是重复的平台会缓存这部分Token只对新内容收费。这在客服机器人、代码审查等场景中能省50%以上的费用。技巧2模型降级策略先用便宜的小模型如gpt-5.4-mini处理请求如果小模型的回答质量不达标可以用简单的规则判断再回退到大模型。这种小模型守门 大模型兜底的策略能在保证质量的同时大幅降低平均成本。技巧3流式输出Streaming开启流式输出后模型生成一个字就返回一个字用户无需等待完整生成。虽然Token费用不变但用户体验大幅提升间接减少了用户因等待过久而重复提交请求的情况。假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】