文章分享了基于大模型构建电商知识图谱的实战案例解决电商领域人工标注效率低、成本高的问题。通过构建商品品类词和品类描述词生成Agent使用字节火山引擎方舟平台的豆包模型作为基座结合Prompt工程和SFT微调技术实现自动化数据处理预期可提高20%-30%的生产效率降低人力成本。文章详细介绍了模型选型、数据准备、微调流程和参数配置等关键环节。这一篇重点分享基于⼤模型搭建电商知识图谱在互联网电商领域有广泛应用。1. 项⽬背景基于⼤模型构建电商知识图谱可以⽤于构建企业知识库和智能客服机器⼈1.1 背景信息在当前的电⼦商务领域竞争激烈且消费者需求⽇益个性化。为了更好地满⾜⽤⼾需求提升企业在市场中的竞争⼒都在积极启动“企业问答知识库”的知识图谱项⽬。在电商环境中商品搜索和推荐的准确性⾄关重要。通过构建商品知识图谱收集⼤量商品信息包括商品品类词和品类描述词等。利⽤⾃然语⾔处理技术⾃动提取这些词汇既能减轻⼈⼯标注的⼯作量⼜能确保数据集全⾯准确。这对于企业问答知识库意义重⼤完善了RAG的能⼒可使其为⽤⼾提供更精准的答案满⾜⽤⼾在购物过程中的各种疑问提升⽤⼾购物体验进⽽增强⽤⼾对企业的满意度和忠诚度。1.1.1 电商知识图谱的构成在电商知识图谱中商品品类词和品类描述词在组成结构中起着⾄关重要的作⽤。⼀、知识图谱组成结构电商知识图谱通常由多个节点和边组成。节点可以代表商品、品牌、品类、属性等边则表⽰节点之间的关系如属于关系、关联关系等。• 节点商品品类词作为⼀种特定类型的节点代表着商品的⼤类划分·**• 边**品类描述词可以作为节点的属性或者与商品节点通过特定关系相连的边。⽰例以下是⼀个关于美妆产品知识图谱的例⼦来说明商品品类词和品类描述词的重要性1.1.2 商品品类词和品类描述词定义品类词规则:1.这个词是指⼀类物品必须是名词2.不能是形容词⽐如“⽇系⻛、美味、优雅”3.不能是动词⽐如“外出”、“旅⾏”、“约会”、“上班”4.不能是指⼈或者动物的名词⽐如“⽼板”、“同事”、“同学”5.不能是地点或者地理位置⽐如“天津”、“校园”6.不能是没有指向性的词⽐如“神器”、“⼯具”、“必备”配件• 商品品类词“⼝红”、“粉底液”、“⼿机”、“电脑”、“⼥装”、“裙⼦”、“家电”这些都属于商品品类词例如“⼝红”、“粉底液”、“⼿机”、“电脑”属于具体商品品类词“⼥装”、“裙⼦”、“家电”属于宽泛商品品类词。**• 品类描述词**简单理解就是形容词“⼏件套”、“套装”、“秋冬”、“外穿”这些属于品类描述词例如可以使⽤“秋冬”、“外穿”来描述针织衫。1.2 项⽬现状⼀、现状⽬前数据标注依赖于⼈⼯⽅式需要组织专业团队每步都需要⼈⼯参与包括收集数据、清洗数据和标注数据并且还需要进⾏⼿动的检查和校准。⼆、挑战1、⼈员培训成本⾼2、数据质量难保证三、总结整体表现为效率低、成本⾼、速度慢。2. 项⽬⽬标收益2.1 项⽬⽬标2.2 项⽬收益通过Agent⾃动⽣成商品品类词和品类描述词预期⽣产效率提⾼20%30%⼈⼒成本按年度流⽔**w计算预估可节约成本****w。3. 解决⽅案3.1 流程设计构建商品品类词⽣成Agent、品类描述词⽣成Agent通过平台提供的代码模块插件快速实现外部API调⽤和数据组装处理。Agent 的本质是借助于⼤模型的推理能⼒对复杂任务进⾏规划拆解拆解成⼏个⼦任务然后对每个⼦任务通过使⽤⼯具FC来执⾏最后完成复杂任务通过这种架构⽅式能够更快的迭代以及扩展基于Agent开发平台能够快速实现多Agent智能体的搭建和需求的快速迭代。3.2 模型选型3.2.1 为什么选⼤模型产品功能迭代模型泛化能⼒开发迭代效率后续扩展⽂本⸺多模态3.2.2 当我们选择模型时候考虑• 开源和闭源私有化部署开发⼯具和平台GPU• 数据安全性数据能不能离开公司• 模型安全性海外模型⽂化差异上的⻛险3.2.3 模型榜单https://rank.opencompass.org.cn/home3.2.4 业务数据验证• 基于业务提供数据我们使⽤相同的数据分别在 Doubao-pro-32k 和 ChatGLM3-7B 模型上进⾏效果验证。• 发现 Doubao-pro-32k 效果明显好于 ChatGLM3-7B◦ ChatGLM3-7B 回答的内容没有偏离主题但准确度和格式都不如 Doubao-pro-32k◦ 最终选择“字节⸺⽕⼭引擎⸺⽅⾈平台⸺⾖包模型”作为模型基座。3.3 模型对⻬模型对⻬就是把通⽤⼤模型应⽤于特定场景中需要的指令、意图、偏好做到⼀致。换⼀种说法简单说模型对⻬就是让模型遵循、理解⼈的意图按照⼈的想法和意图做出决策或⽣成内容。模型对⻬⽅式有很多种常⻅的如撰写适配⼤模型 的 Prompt从⽽让模型能够更好地⽣成内容第⼆种就是微调Fine-Tuning让模型向⼈对⻬通过调整训练模型让模型更好地适应特定的任务或数据集。3.3.1 PE对⻬Prompt、RAG3.3.2 FineTuning对⻬预训练对⻬增量预训练、SFT监督微调、RLHF基于⼈类反馈的强化学习训练RM任务通过reward model去训练RL3.3.3 什么时候需要 SFT• 通过 prompt engineering ⽆法解决或 prompt 中描述过于复杂时。• 对⼤模型输出内容有格式要求时⽽模型仍有部分 case 不符合要求。• 期望通过 SFT 来减少 prompt 中的内容加速线上推理的耗时。3.3.4 做 SFT 的前置依赖• ⼀⽅⾯把 prompt engineering 做到极致通过优化 prompt 已经不能解决剩余的 badcase。另⼀⽅⾯SFT 数据集中也依赖 prompt。因此做 SFT 之前尽量把 prompt ⼯程做到最优。• ⼀开始不需要急着构造⼤量 SFT 数据集可以先⽤少量数据50条~100条对模型做 SFT 后观察真实评估是否有收益。如果有收益可以尝试以部分数据为种⼦数据集继续扩充找到 scalinglaw。如果没有收益那么再重新检查 SFT 数据集的质量。3.4 数据准备3.4.1 数据来源通常数据来源于业务数据⽐如mysql、hive、csv等存储介质3.4.2 数据格式对数据进⾏清洗是⼤模型微调前⾄关重要的⼀步。数据清洗能显著提升模型的性能和可靠性通过去除噪⾳、纠正错误、标准化格式等⼿段使得训练数据更加⾼质量和⼀致。本次数据的来源为⼈⼯⽣产的数据所以数据基本不含重复性且质量相对较⾼唯⼀需要处理的是将对应的csv数据内容提取出来转为模型精调需要的jsonl格式作为模型训练的业务数据。在组装微调数据时每个模型对数据格式的要求不同我们需要根据具体模型、具体云平台按照要求进⾏处理SFT⽂本⽣成-训练数据格式要求⾖包、千问SFT⽂本⽣成-训练数据格式要求百度千帆3.4.3 数据清洗上⼀步说了在SFT⽂本⽣成阶段不同模型、不同云平台对训练数据的格式要求不同。我们在拿到业务数据后需要根据要求处理为平台需要的数据格式因为我们选择的基座模型是⽅⾈平台⾖包模型基座所以我们要处理成⽅⾈⾖包需要的数据格式。商品品类词数据样本原始数据篇幅有限只展示部分详细数据集可以加薛老板品类描述词数据样例原始数据篇幅有限只展示部分详细数据集可以加薛老板3.4.4 数据处理篇幅有限详细过程略训练数据处理通常使⽤python对数据进⾏处理也可以通过其他语⾔python上⼿容易数据处理⼯具库完善例如Pandas等。业务提供的原始数据不同需要处理的代码也会不同我们项⽬的数据处理逻辑。数据处理完成后会⽣成两个⽂件训练数据和评测数据。4. 产品实现4.1 Prompt设计**• ⽬标**选择适当的提⽰格式和语⾔以清晰明确地表达⽤⼾的意图。**• 过程**⾸先需要明确⽬的在使⽤ prompt 之前明确⽬的是什么即准备让模型做什么样的事情。在明确⽬的之后然后构造 prompt**• 限制模型输出格式 **最后针对模型的输出可以限制输出的格式⼀⽅⾯可以提⾼可读性使结果更清晰明了另⼀⽅⾯也可以⽅便后续的处理提⾼稳定性。对于本次业务需求涉及多个指标且需要在程序中使⽤标注结果常规的⽂本明显不如json便利。**• 规则、背景知识**结合业务将业务规则逐条告知模型如何做如有basdcase可以适当举例。4.2 微调需要多次迭代篇幅有限只展示最优版本演⽰4.4 总结针对性地多收集⼀些模型反复出错的 badcase洞察和分析找到共性后构造 SFT 数据集并让SFT 数据集的分布尽量覆盖 badcase 的分布使得 SFT 数据集覆盖度⾜够⼴能够最⼤程度解决掉badcase。4.5 训练超参数配置结合本次需求选择的模型和训练平台本次训练⽅法采⽤LoRA⽅式LoRA 是⼀种更⾼效低成本的模型精调技术相较全量更新训练更快同时精调效果基本接近。• 微调参数配置◦ epoch▪ 模型训练轮数通常选择 2〜5可以根据验证集 loss 曲线来判断如果训练集 loss 曲线下降验证集 loss 曲线上升则说明模型已经过拟合此刻应该停⽌训练如果训练集和验证集 loss 曲线均在缓慢下降则说明模型还未收敛可以继续训练。此外对于⽂案⽣成⼩说创作等⽣成类任务由于某些上下⽂逻辑及⻛格不能通过 loss 体现所以不应仅看 loss 来决定模型何时停⽌训练按经验来说通常⽣成类任务 epoch 数可以略微设置⼤⼀点如 5〜10 范围内。如果条件允许增加数据量优先于epoch。◦ learning Rate▪ 学习率设置较⼤时会加速模型迭代但是模型可能⽆法收敛到最优点设置过⼩时会使得模型迭代较慢可能陷⼊局部最优。按照经验来讲LORA 训练选择 learning rate在 1e-4~ 2e-4全量 SFT 选择learning rate 在 1e-5 ~ 2e-5即可。◦ top_p▪ ⽤于控制输出tokens的多样性TopP值越⼤输出的tokens类型越丰富取值范围0~1此场景不需要丰富故设置为04.6 过拟合判断• 什么是过拟合◦ 是指模型在训练数据上表现很好但在验证集或测试集上的性能较差。通俗来说就是训练过度导致模型失去了泛化能⼒模型效果变差。• 为什么出现过拟合◦ 在数据量级⽐较⼩训练轮次⽐较多简单理解就是给定⼀⼩部分数据让⼤模型来回训练模型会过度学习训练数据中的噪声和细节⽽不是泛化到未⻅过的数据导致泛化能⼒差。◦ 在⼤量数据上也会出现过拟合模型会开始捕捉训练数据中的特异/特定模式⽽⾮普遍规律导致泛化能⼒差。• 如何观测过拟合◦ 通过绘制训练和验证损失loss随训练轮数epochs变化的曲线可以直观地判断过拟合现象。如果发现训练损失持续下降⽽验证损失在下降⼀段时间后开始上升这通常是过拟合的标志。​最后我在一线科技企业深耕十二载见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】​​为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。​​资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌​​​​如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**​