尧图网页设计 
LocalAI本地部署用Docker五分钟跑起来【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是开源的本地AI推理服务。你想在自己机器上跑大模型对话、语音转写、图像生成又不想让数据经过任何云厂商它解决的就是这件事。不用买显卡、不用注册账号、不用开通任何云服务。下面按步骤把它跑起来五分钟就够。装起来前提只有一个装了Docker。跑CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-ti分配终端并保持stdin打开你能直接看到启动日志之后也能重进容器--name local-ai容器命名退出后用docker start -i local-ai就能拉起来-p 8080:8080把容器内API服务端口映射到本机8080有N卡的话加一个--gpus all、把镜像tag换成latest-gpu-nvidia-cuda-12即可其余不变。镜像里默认只有核心模型需要某个推理引擎backend比如llama.cpp时会按需自动拉取对应的独立镜像——不用的后端不会装。整条路径就是下面这张图拉镜像、起服务、挑模型、发第一个API调用。改两行配置镜像可以从模型库gallery直接拉取预配置好的模型用自己本地的.gguf文件大模型常见的量化格式时则在模型文件同目录放一个yaml最小配置就三行backend: llama-cpp mmap: true context_size: 8192参数改它干嘛context_size上下文窗口长度长对话总被截断就调大mmap内存映射模型文件由系统按需换入数据省内存大模型卡顿时试试关掉backend换推理引擎如llama-cpp、vllm、transformers跑通第一个对话服务起来后API是OpenAI兼容的——把任意OpenAI SDK的地址改成http://localhost:8080就能用。第一次调用会自动拉取并加载模型耐心等一两分钟curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: llama-3.2-1b-instruct:q4_k_m, messages: [{role: user, content: 用一句话打个招呼}] }返回里content字段出现模型回复文本比如content: 你好随时可以开始。就是通了。浏览器直接打开http://localhost:8080还有一个内置的Web界面可以不经API直接对话下一步往哪走想换模型gallery/ 里是现成的预配置模板也可以用local-ai run从模型仓库或Hugging Face拉任意模型。想接Web前端8080的内置界面先用着自己的应用走OpenAI兼容API接口清单在 docs/content/features/。想多模态语音转写、TTS、图像生成都在同一个服务的同一套API下不用另起组件。想多机跑分布式模式PostgreSQL NATS组多节点推理见 docs/content/features/distributed-mode.md。卡住了就翻 docs/content/getting-started/基本都有答案。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LocalAI本地部署：用Docker五分钟跑起来
LocalAI本地部署用Docker五分钟跑起来【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI是开源的本地AI推理服务。你想在自己机器上跑大模型对话、语音转写、图像生成又不想让数据经过任何云厂商它解决的就是这件事。不用买显卡、不用注册账号、不用开通任何云服务。下面按步骤把它跑起来五分钟就够。装起来前提只有一个装了Docker。跑CPU版docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-ti分配终端并保持stdin打开你能直接看到启动日志之后也能重进容器--name local-ai容器命名退出后用docker start -i local-ai就能拉起来-p 8080:8080把容器内API服务端口映射到本机8080有N卡的话加一个--gpus all、把镜像tag换成latest-gpu-nvidia-cuda-12即可其余不变。镜像里默认只有核心模型需要某个推理引擎backend比如llama.cpp时会按需自动拉取对应的独立镜像——不用的后端不会装。整条路径就是下面这张图拉镜像、起服务、挑模型、发第一个API调用。改两行配置镜像可以从模型库gallery直接拉取预配置好的模型用自己本地的.gguf文件大模型常见的量化格式时则在模型文件同目录放一个yaml最小配置就三行backend: llama-cpp mmap: true context_size: 8192参数改它干嘛context_size上下文窗口长度长对话总被截断就调大mmap内存映射模型文件由系统按需换入数据省内存大模型卡顿时试试关掉backend换推理引擎如llama-cpp、vllm、transformers跑通第一个对话服务起来后API是OpenAI兼容的——把任意OpenAI SDK的地址改成http://localhost:8080就能用。第一次调用会自动拉取并加载模型耐心等一两分钟curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: llama-3.2-1b-instruct:q4_k_m, messages: [{role: user, content: 用一句话打个招呼}] }返回里content字段出现模型回复文本比如content: 你好随时可以开始。就是通了。浏览器直接打开http://localhost:8080还有一个内置的Web界面可以不经API直接对话下一步往哪走想换模型gallery/ 里是现成的预配置模板也可以用local-ai run从模型仓库或Hugging Face拉任意模型。想接Web前端8080的内置界面先用着自己的应用走OpenAI兼容API接口清单在 docs/content/features/。想多模态语音转写、TTS、图像生成都在同一个服务的同一套API下不用另起组件。想多机跑分布式模式PostgreSQL NATS组多节点推理见 docs/content/features/distributed-mode.md。卡住了就翻 docs/content/getting-started/基本都有答案。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考