文章目录前言一、环境信息二、部署步骤1.部署英伟达驱动2.docker形式部署ollama2.1 安装docker2.2 安装NVIDIA Container Toolkit关键2.3 安装docker2.4 ollama下载个小模型测试一下总结前言学习使用openclaw先学会部署ollama。一、环境信息操作系统22.04.5 LTSollama 0.17.5GPUTesla V100-SXM2-32GBnvidia 驱动版本nvidia-driver-580二、部署步骤1.部署英伟达驱动# 查看驱动列表sudoubuntu-drivers devices# 选择合适的驱动安装上aptinstallnvidia-driver-580-ysudoaptupdate# 重启服务器sudoreboot# 执行命令查看加速卡信息sudonvidia-smi2.docker形式部署ollama2.1 安装dockerdocker--version||(apt updateaptinstall-ydocker.io)aptinstallcurl-y2.2 安装NVIDIA Container Toolkit关键curl-s-Lhttps://nvidia.github.io/nvidia-docker/gpgkey|apt-keyadd-distribution$(./etc/os-release;echo$ID$VERSION_ID)curl-s-Lhttps://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list|tee/etc/apt/sources.list.d/nvidia-docker.listaptupdateaptinstall-ynvidia-container-toolkit systemctl restartdocker2.3 安装docker# 获取国内源的ollama镜像dockerpull docker.1ms.run/ollama/ollama:latest# 运行dockerrun-d\--gpusall\-vollama:/root/.ollama\-p11434:11434\--nameollama-gpu\--restartunless-stopped\docker.1ms.run/ollama/ollama:latest2.4 ollama下载个小模型测试一下# 下载千问模型dockerexecollama-gpu ollama pull qwen3.5:0.8b# 下载完毕之后请求一下试试curlhttp://localhost:11434/api/generate-d{ model: qwen3.5:0.8b, prompt: 用一句话介绍 V100 GPU, stream: false }总结比service形式部署的方便很多还不需要考虑配置GPU的问题。