本地部署 Ollama 指南3 分钟让大模型在你电脑上跑起来Ollama —— 不用配置复杂的环境不用折腾 Docker一条命令就能让 Llama 3、Qwen 这些大模型在你电脑上跑起来。今天这篇教程我就把完整的部署流程、使用技巧、还有我踩过的坑一次性讲清楚。Ollama 是什么简单说Ollama 是一个本地运行大语言模型的工具。旨在简化大型语言模型本地部署和运行过程的开源软件提供了一个轻量级、易于扩展的框架让开发者能够在本地机器上轻松构建和管理LLMs(大型语言模型)开发者可以导入和定制自己的模型无需关注复杂的底层实现细节由自己电脑的硬件提供算力支撑模型运行现在大家用 Ollama主要是为了这几个场景隐私敏感的场景数据不出本地适合企业内部使用离线环境没有网络也能用大模型开发测试本地快速迭代不用每次调 API 都等响应成本控制一次部署无限调用没有 token 费用学习和研究想深入理解大模型怎么工作的Ollama 的优点1. 极简的命令行体验ollama run llama3.2就这一条命令模型自动下载、自动运行。用完退出就这么简单。2. 模型库丰富官方库里有 Llama 3、Qwen2.5、Gemma2、Mistral、DeepSeek 等主流模型从 1B 到 70B 参数都有。还能自己导入自定义模型。3. 资源占用可控小模型如 Qwen2.5-1.5B只要 2GB 内存就能跑老笔记本也能用。大模型支持量化70B 模型量化后 40GB 显存就能跑。4. API 兼容 OpenAIOllama 的 API 跟 OpenAI 格式兼容现有代码改个 base_url 就能用fromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:11434/v1,api_keyollama# 随便填)responseclient.chat.completions.create(modelllama3.2,messages[{role:user,content:你好}])5. 支持 GPU 加速NVIDIA 显卡自动调用 CUDAAMD 显卡支持 ROCmMac 用 M 系列芯片的 Metal 加速。有显卡和没显卡速度差好几倍。部署前准备先确认你的设备能不能跑最低配置内存4GB跑 1B-3B 小模型存储10GB 空闲空间系统Linux / macOS 12 / Windows 10推荐配置内存16GB跑 7B-14B 模型显卡NVIDIA 8GB 显存GPU 加速存储50GB SSD检查 NVIDIA 显卡驱动nvidia-smi能看到显卡信息就说明驱动没问题。Linux 部署Ubuntu/Debian/CentOSStep 1一键安装官方提供了一键安装脚本直接运行curl-fsSLhttps://ollama.com/install.sh|sh脚本会自动下载最新版本的 Ollama创建系统服务启动后台进程Step 2验证安装ollama--version看到版本号就说明安装成功了。Step 3启动服务安装脚本会自动启动服务。如果没有手动启动sudosystemctl start ollamasudosystemctlenableollama# 开机自启Step 4下载并运行模型ollama run llama3.2第一次运行会自动下载模型约 2GB。下载完成后直接进入对话界面。Step 5查看服务状态sudosystemctl status ollama看到active (running)就说明服务正常。macOS 部署Step 1下载安装有两种方式方式一Homebrew推荐brewinstallollama方式二官网下载访问 https://ollama.com/download下载 macOS 安装包双击安装。Step 2运行模型ollama run llama3.2Mac M 系列芯片会自动用 Metal 加速速度很快。Step 3后台运行可选如果想让 Ollama 一直在后台运行ollama serveWindows 部署Step 1下载安装包访问 Ollama 下载OllamaSetup.exe。Step 2安装按提示完成安装。Step 3验证安装打开 PowerShell 或命令提示符ollama--versionStep 4运行模型ollama run llama3.2Windows 版本会自动配置环境变量可以直接在任何目录运行。Docker 部署可选如果你习惯用 Dockerdockerrun-d-vollama:/root/.ollama-p11434:11434--nameollama ollama/ollama带 GPU 支持dockerrun-d--gpusall-vollama:/root/.ollama-p11434:11434--nameollama ollama/ollama验证容器运行dockerexec-itollama ollama run llama3.2常用模型推荐Ollama 官方库里的模型我推荐这几个模型大小适用场景最低内存Qwen2.5-1.5B1.5B轻量任务、老设备2GBLlama3.2-3B3B日常对话、代码4GBQwen2.5-7B7B综合性能最佳8GBLlama3.1-8B8B通用场景8GBQwen2.5-14B14B复杂任务、推理16GBLlama3.1-70B70B高精度任务40GB下载模型ollama pull qwen2.5:7b ollama pull llama3.2 ollama pull deepseek-r1:8b查看已下载模型ollama list删除模型ollamarm模型名API 使用示例Ollama 启动后默认在http://localhost:11434提供 API 服务。1. 对话接口curlhttp://localhost:11434/api/chat-d{ model: llama3.2, messages: [ {role: user, content: 你好介绍一下你自己} ] }2. 流式输出curlhttp://localhost:11434/api/chat-d{ model: llama3.2, messages: [{role: user, content: 讲个笑话}], stream: true }3. Python 调用importrequests responserequests.post(http://localhost:11434/api/chat,json{model:llama3.2,messages:[{role:user,content:用 Python 写个快速排序}]})print(response.json()[message][content])4. OpenAI 兼容接口fromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:11434/v1,api_keyollama)responseclient.chat.completions.create(modelllama3.2,messages[{role:system,content:你是一个 Python 专家},{role:user,content:解释一下装饰器}])print(response.choices[0].message.content)我踩过的坑血泪教训坑 1模型下载太慢国内下载 HuggingFace 的模型经常超时。解决方法# 设置国内镜像exportOLLAMA_MODELS/path/to/local/models# 或者用代理exportHTTP_PROXYhttp://127.0.0.1:7890exportHTTPS_PROXYhttp://127.0.0.1:7890坑 2显存不足跑大模型时显存爆了。解决# 使用量化版本ollama run llama3.2:q4_0# 4bit 量化显存减半# 或者限制 GPU 使用exportOLLAMA_NUM_GPU1# 只用 1 张卡坑 3服务启动失败端口被占用或者权限问题# 检查端口sudolsof-i:11434# 重启服务sudosystemctl restart ollama# 查看日志sudojournalctl-uollama-f坑 4模型响应慢没有用 GPU 加速。检查# Linux 查看 GPU 使用情况nvidia-smi# Ollama 服务日志ollama serve21|grep-igpu看到CUDA或Metal字样说明加速已启用。进阶技巧1. 自定义模型创建ModelfileFROM llama3.2 SYSTEM 你是一个专业的 Python 程序员。 回答要简洁直接给代码示例。 PARAMETER temperature 0.7 PARAMETER top_p 0.9创建模型ollama create my-coder-fModelfile ollama run my-coder2. 多模型切换# 列出所有模型ollama list# 切换到另一个模型ollama run qwen2.5:7b3. 模型导出ollamacpllama3.2 backup-llama3.24. 网页界面配合 Open WebUI 使用dockerrun-d-p3000:8080\-eOLLAMA_BASE_URLhttp://host.docker.internal:11434\--nameopen-webui\ghcr.io/open-webui/open-webui:main然后访问http://localhost:3000就有网页版界面了。参考链接Ollama 官网https://ollama.com模型库https://ollama.com/libraryGitHubhttps://github.com/ollama/ollama文档https://github.com/ollama/ollama/tree/main/docs