使用的大模型并不是本地部署都是远程调用大模型厂商的API。然后我发现评论区很多朋友的使用场景对私密性要求很高希望能全链路包括大模型本地部署整个RAG过程完全在内网这样才能保证数据安全。虽然本地知识库大模型API 也还算安全但由于RAG的流程是根据问题检索相关内容作为上下文连同问题一起发送给大模型。所以通过API远程调用大模型理论上确实是存在数据泄露风险的。我为什么一直没出本地知识库本地大模型的文章呢主要是本地部署大模型并获取大模型API较为繁琐对小白很不友好。而且还需要科学上网否则模型下载速度巨慢。然而这两天无意中发现了一个国产开源工具--AingDesk它虽然是最近刚开源的一个项目目前Star只有635但确实有不少惊艳到我的地方而且完全能满足大家的需求。Github地址https://github.com/aingdesk/AingDeskCNB地址https://cnb.cool/aingdesk/AingDesk优点主要有1.开源免费无限制2.无需额外安装ollama支持本地模型一键安装就点一下等着下载好就ok了而且不需要科学上网下载速度飞快~3.支持联网、知识库的文件上传支持几乎所有格式没有复杂的配置但是知识库检索非常准确4.工具支持windows、mac一键安装同时也支持docker部署5.搭建好的智能体还可以一键分享给家人、朋友、同事使用。好了不啰嗦了我们直接开整AingDesk搭建私密知识库接下来我们将在本地搭建一个完全私密的知识库知识库、语言模型、索引模型全都用本地的这次是真的不联网也完全可以用了再也不用担心数据泄露~友情提示本期工具不用docker部署下载后一键安装。首先直接去官网下载aingdeskhttps://www.aingdesk.com/zh/如下图配置要求可以说非常低了。选择合适的平台进行下载。接下来就是傻瓜式安装安装好之后双击打开点击左下角【本地模型】有300个模型供你挑选包含带视觉功能的模型索引模型支持工具调用的模型。看中哪款点击安装就行。甚至可以一键安装满血版的DeepSeek...当然同样支持最强32B模型QWQ接下来我们搭建知识库需要索引模型语言模型我的电脑配置不高我的电脑配置显卡-8G显存的3060TICPU-AMD Ryzen 7 5800X 8-Core 3.80 GHz内存-32G本地大模型主要还是吃显存教大家一个选择适合本机模型的方法模型所需显存大小≈模型大小×1.2大语言模型我选择qwen2.5:14b如下图 大小是9G9×1.210.8G所以运行qwen2.5:14b所需的显存大约是10.8G我的显存大小只有8G但还是勉强可以跑起来只不过输出稍微慢一些。索引模型我选择beg-m3:567m看这模型下载速度134MB/s我没有开魔法上网对国内用户非常友好模型已备好接下来我们开始搭建知识库创建知识库嵌入模型选择刚刚下载的beg-m3:567m上传文件这里支持几乎所有文件类型我们先试试公众号文章pdf19个pdf文件大约1分半处理完毕创建智能体目前相当于一个提示词模板保存之后选择刚刚新建的智能体进入对话右下角知识库-选择刚刚创建好的知识库。经过测试发现小模型里面还得是qwen蒸馏出来的deepseek-r1模型给力。回答的没啥毛病就是不够详细。知识库检索准确度非常高但是想要回复的内容更准确还是得用更强的语言模型本地有条件最好上QWQ:32b从下图中可以看出上传的pdf被解析成markdown格式文件了解析出来的内容还是挺准确的。接着我又测试了一下Excel格式的文件问答效果也挺不错Excel也是解析成了markdown格式试了一下上传图片到知识库发现目前图片解析还不太行它的知识库我体验下来创建和使用都非常简单检索的准确度甚至可以媲美fastgpt了而且支持几乎所有的文件格式都是把文件解析成markdown本地索引模型 直接上小参数量的beg-m3:567m检索效果就很好了瓶颈在语言模型上。本地算力够的朋友推荐直接上QWQ:32b。配置第三方模型API以硅基流动为例点击第三方模型API-硅基流动-配置apikey-保存API下面会自动搜索出模型。说实话用上面的本地8b、14b的小参数语言模型测试回答效果确实一般但换成硅基的DeepSeek V3满血版之后熟悉的感觉又回来了回答的既准确又详细。PS索引模型还是没变还是之前配置的本地索引模型beg-m3:567m联网搜索设置-默认搜索引擎全都是国内搜索也都是免费调用对国内用户来说非常友好了测试一个问题搜索今日热点AI资讯会联网搜索10条内容作为参考日期25年3月26正确而且今天刚好出了Mureka O1音乐大模型给出的热点也完全没毛病。一键分享打开一个对话点击右上角分享按钮随便起个名字选择一个知识库点击小窗口中的分享下面会增加一条记录复制分享链接发给朋友即可。打开浏览器即可访问使用。这个分享功能需要本地联网整个调用过程需要通过AingDesk云服务中转内网穿透访问到你本地的AingDesk。网页访问使用可以看到检索的知识库相关资料文件名但无法获取源文件内容。最后总结一下这个工具可以一键安装几乎所有开源大模型而且国内下载速度贼快。当知识库和所有模型都在本地的时候可以完全离线使用私密性拉满。创建知识库支持解析几乎所有类型的文件即便使用小参数量的索引模型知识库检索准确度也非常高。但由于项目还在初期UI比较简陋没有工具插件、和工作流希望后面越做越好。这个工具还支持docker部署https://docs.aingdesk.com/zh-Hans/Installation/dockerdocker部署之后可以对外提供web服务。补充说明该工具不会和本地的ollama冲突如果和ollama同时开启它还会自动读取ollama中已经安装的本地模型。如何学习AGI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。因篇幅有限仅展示部分资料需要点击下方链接即可前往获取**一、2025最新大模型学习路线一个明确的学习路线可以帮助新人了解从哪里开始按照什么顺序学习以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛没有明确的学习路线可能会导致新人感到迷茫不知道应该专注于哪些内容。我们把学习路线分成L1到L4四个阶段一步步带你从入门到进阶从理论到实战。L1级别:AI大模型时代的华丽登场L1阶段我们会去了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理关键技术以及大模型应用场景通过理论原理结合多个项目实战从提示工程基础到提示工程进阶掌握Prompt提示工程。L2级别AI大模型RAG应用开发工程L2阶段是我们的AI大模型RAG应用开发工程我们会去学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3级别大模型Agent应用架构进阶实践L3阶段大模型Agent应用架构进阶实现我们会去学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造我们自己的Agent智能体同时还可以学习到包括Coze、Dify在内的可视化工具的使用。L4级别大模型微调与私有化部署L4阶段大模型的微调和私有化部署我们会更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握而L3 L4更多的是通过项目实战来掌握大模型的应用开发针对以上大模型的学习路线我们也整理了对应的学习视频教程和配套的学习资料。二、大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF三、大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。四、大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。五、大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。因篇幅有限仅展示部分资料需要点击下方链接即可前往获取