目录一、需求背景二、系统架构2.1、AI 中台2.2、后台管理系统2.3、其他2.4、风险点一、需求背景在日常出差报销流程中我们需要单次 / 批量上传发票手动填写行程单非常耗时且繁琐本次需求将实现这个场景的自动化不仅可以节省时间还可以提高数据处理的准确性。本次需求存在几个难点1、PDF 处理包括长文本切割、OCR 高精度识别、文字组装等2、向量库语义准确性、向量库性能3、数据安全与隐私4、大模型运维与部署5、大模型、Agent 系统集成等6、知识库的维护。二、系统架构系统由产品、AI 中台以及后台管理系统几部分组成。2.1、AI 中台不管是大模型还是小模型我们需要将 AI 相关的能力集中管理起来这里我们只用到了模型服务MaaS也就是说我们这里假设模型已经训练好微调好可以直接通过接口进行调用。实际上 AI 中台还包括其他模块比如数据采集、标注、模型训练等等这里我们只用到模型服务下一节课我们再详细介绍 AI 中台的架构设计。AI 中台最好至少通过 2 个应用去承接一个提供对外 API 服务使用 Java 语言构建一个 AI 模型服务使用 Python 应用构建。2.1.1、应用服务为了确保服务的稳定性和安全性我们采用 Java 语言开发对外接口服务应用。这个应用通过 App 进行管理并使用 AppKey 和 AppSecret 进行接口鉴权。此外我们还基于 AppKey 实施了接口权限控制和调用频率限制。主要考虑以下几点1、接口调用限速。大模型推理需要使用比较多的 GPU 资源尤其对于刚上线、流量比较大的应用除了提前做好资源评估准备适量的设备资源还要做好降级的准备因为有很多不可预估的情况可能会出现比如流量突增、推理效率下降等等都会导致 GPU 资源缺乏从而影响用户使用一旦 GPU 出现 GPU 资源紧张的情况要及时启动限流可以提前制定几种策略比如按分钟 / 秒限制 QPS或者把一些流量大户加入黑名单可以通过用户 IP/ID 等标识进行控制这块和我们普通软件应用限流原理一致。2、文件大小和格式限制对文件大小和类型做一个限制保护系统免受“攻击”比如将文件类型限定在只能处理 PDF 上甚至只能处理原生 PDF 格式大小不超过 10M否则你不知道会有什么人直接上传多大的文件到系统增加系统宕机风险。3、上传文件频率限制其实这是限制接口调用频率的一种比如同一个用户每分钟只能上传 1 次要不然一个人不断重复上传也会给系统带来很大压力。4、模型服务计费无论是使用自己搭建的大模型还是调用大厂 API 服务最好要把 tokens 记录下来方便做费用统计以及最终对账。2.1.2、模型服务这部分是 AI 能力的核心涉及数据处理、词嵌入、模型实际调用等等我们使用 Python 作为构建语言用过的人都知道Python 就是天然为机器学习而生的大量的工具库要比其他任何语言都方便。这个场景下主要涉及以下几个模块2.1.2.1、PDF 处理这块我们通过一个 Agent 去处理包含 PDF 切分、OCR 识别等。PDF 处理可能会面临各种各样的问题比如如果 PDF 文件里是图像嵌入的那么就需要 OCR一旦使用 OCR 就会涉及正确率的问题再比如文件处理本身就是资源密集型操作容易导致系统负载过重的情况。PDF 处理工具有很多种比如 pdfplumber、PyPDF2、pytesseract 等有的是纯文本 PDF 内容抽取比如 PyPDF2有的是 OCR 识别如 pytesseract作为一个通用工具我们可以先检测 PDF 中是否包含图片不包含图片的话直接使用 PyPDF2你可以看一下示例代码。import PyPDF2from pytesseract import image_to_stringfrom PIL import Imageimport pdf2imagedef extract_text_from_pdf(pdf_path): 从给定的PDF文件中提取文本包括图像中的文本。 all_text try: # 打开PDF文件 with open(pdf_path, rb) as file: reader PyPDF2.PdfReader(file) num_pages len(reader.pages) # 将PDF转换为图像一页一页处理 images pdf2image.convert_from_path(pdf_path) for i in range(num_pages): page reader.pages[i] image images[i] # 先尝试直接从PDF页提取文本 text page.extract_text() or # 如果提取到的文本太少可能需要OCR if len(text.strip()) 50: # 例如少于50个字符视为提取失败 text image_to_string(image, langchi_sim) all_text fPage {i 1}:\n{text}\n\n except Exception as e: print(fAn error occurred: {e}) return all_text# 示例用法pdf_file_path path_to_your_pdf_file.pdfextracted_text extract_text_from_pdf(pdf_file_path)if extracted_text: print(extracted_text)2.1.2.2、词嵌入词嵌入的原理我就不讲了前面的课程中有详细的解释。在这个场景里我们可以把发票图像的特征提取出来生成向量存放到向量数据库做图像数据检索当然本质还是文本检索用向量搜索的好处是语义检索比如有些词汇长得不一样但实际含义是一样的那么这种场景用向量检索就很容易检索出来。比如我们要检索所有维修服务类的发票发票 A 写着车辆维修费用包括更换刹车片和轮胎检查发票 B 写着为汽车进行的常规保养服务包括制动系统和轮胎的维护发票 C 写着完成对车辆制动系统的全面检查及轮胎更换服务那么通过向量检索这 3 种情况都有可能搜索出来。具体选择哪个词嵌入模型可以自己判断一般像 Google 的 Word2VecMeta 的 fastText 效果都不错当然国产的也有比如腾讯的 TX-WORD2VEC。2.1.2.3、向量数据库向量数据库可以选择 Meta 的 faiss也可以选择国产的 Milvus 或者各个云厂商的云向量数据库向量数据库效果好坏的关键在于向量的准确性怎么分词很关键比如刚刚的例子检索维修服务分词的时候如果把维修和服务分开然后拿服务这个词去检索那么准确度会大打折扣。所以在一些场景下避免客户直接输入检索内容效果可能会更好。此外使用前还要先评估好容量、数据库权限等等。2.1.2.4、Agent我们把处理 PDF 的整个过程放到一个 Agent 内处理处理的结果直接喂给大模型大模型输出的内容可以调用 Agent 的另一个 tool 进行组装返回给用户。这里主要涉及 prompt 组装需要提前设定好 prompt 模版、文本格式化、文件生成等内容。2.1.2.5、大语言模型大语言模型就是这个系统的核心这里我们要先考虑是用本地自己搭建的模型还是用大厂提供的 API。一般来说大厂的模型性能会更好比如文心一言、智谱清言、通义千问等效果都不错价格也不贵自己搭建的大模型为了节省资源一般使用的是小规模参数的模型比如 ChatGLM3-6B、LLaMa3-8B、Qwen-7B 等实测下来效果确实不如云上的大模型云上的一般大厂都会放自己王牌的模型效果肯定不会差。另外如果选择自己搭建模型首先要注意这个模型是否支持免费商用别一不小心造成侵权。同时需要合理评估 GPU 资源根据可能的 QPS 评估每秒 token 数再根据这个模型实际的每秒处理 token 数评估需要多少块显卡预留一定的余量防止突发情况。如果选择云上模型服务要注意保证账户余额充足同时也可以设置一些阈值限制一定的 tokens 消耗数避免因为 bug 或者攻击消耗大量金额。2.2、后台管理系统我们需要一个系统来维护知识库定期更新数据这是使用知识库模式的一个不同点而且会有一定的工作量比如如何进行分词有的时候是人工操作这样就更有难度了短期内如果时间来不及可以由开发人员维护只需要有接口就行不需要界面长远看最好还是做成后台管理系统分配一定的权限交由特定人员处理。2.3、其他除了刚刚介绍的内容其他注意事项比如监控、告警常规的数据库设计、接口设计等就不详细描述了和软件开发相关的内容我相信你是比较熟悉的这里新增的像大模型、Agent 的监控、向量数据库的监控要记得添加到标准的 ops 流程中。2.4、风险点PDF 抽取文本信息的过程中可能会遇到 OCR 准确率问题可以在产品设计上给用户留有一定的权限以便编辑信息如果出现识别错误或者不能识别的情况允许用户手动编辑信息。词嵌入及向量数据库需要多调试不同的词嵌入模型使用的训练方式不同效果不同需要不断调试看效果。大模型推理效率问题需要合理评估设备资源避免推理资源不足带来不好的体验。Agent 集成可以使用像我们前面学习的 LangChain 框架也可以自己编写集成代码。自己维护知识库需要有一定的分词能力。如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】