通义千问1.5-1.8B-Chat-GPTQ-Int4 WebUI部署Ubuntu 20.04系统环境保姆级配置想在自己的Ubuntu服务器上快速体验通义千问1.5-1.8B这个轻量级大模型并且有一个直观的网页界面来对话这篇文章就是为你准备的。我会手把手带你在Ubuntu 20.04这个非常主流的服务器系统上从零开始配置环境直到成功运行起模型的WebUI服务。整个过程就像搭积木跟着步骤走你也能轻松搞定。1. 开始前的准备工作在动手之前我们先明确一下目标和需要的东西。这次我们要部署的是通义千问1.5-1.8B-Chat模型的GPTQ-Int4量化版本。简单来说这个版本在保持不错对话能力的同时对显存的要求大大降低非常适合在消费级显卡上运行。而WebUI则提供了一个类似ChatGPT的网页聊天界面用起来非常方便。你需要准备的东西很简单一台安装了Ubuntu 20.04 LTS操作系统的电脑或服务器。这是很多云服务商和本地服务器的默认选择兼容性好。一张NVIDIA显卡并确保已经安装了正确的驱动。这是模型运行的基础。显存有4GB或以上会跑得更顺畅一些。一个可以执行命令的终端窗口以及基础的Linux操作知识比如知道怎么用cd、ls这些命令。好了我们这就开始第一步从确保你的系统环境是最佳状态做起。2. 第一步打好基础——系统更新与环境配置任何软件部署一个干净、更新的系统环境是成功的一半。我们先来把Ubuntu 20.04的基础打好。打开你的终端首先更新系统的软件包列表并升级所有已安装的包。这能确保我们后续安装的依赖都是最新的减少兼容性问题。sudo apt update sudo apt upgrade -y更新完成后我们需要安装一些编译和运行Python项目必不可少的工具和库。sudo apt install -y build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget curl git这些包包括了编译器、各种开发库以及我们后面会用到的git和wget。安装过程可能需要几分钟。接下来是关键一步安装合适版本的Python。虽然Ubuntu 20.04自带了Python 3.8但为了环境管理的灵活性我推荐使用pyenv来安装和管理Python版本。这样你可以轻松切换不同项目所需的Python环境。首先安装pyenv的依赖并下载它curl https://pyenv.run | bash安装完成后把下面几行配置添加到你的shell配置文件比如~/.bashrc或~/.zshrc的末尾export PATH$HOME/.pyenv/bin:$PATH eval $(pyenv init --path) eval $(pyenv virtualenv-init -)添加后让配置立即生效source ~/.bashrc # 如果你用的是zsh就执行 source ~/.zshrc现在我们可以用pyenv安装Python 3.10一个比较新且稳定的版本pyenv install 3.10.13安装完成后将这个版本设置为全局默认pyenv global 3.10.13验证一下是否安装成功python --version # 应该输出 Python 3.10.13 pip --version # 确保pip也是对应版本基础环境到这里就配置好了我们接着处理显卡相关的部分。3. 第二步让显卡火力全开——CUDA与驱动确认模型推理需要GPU加速所以必须确保CUDA环境正确。Ubuntu 20.04通过官方仓库安装NVIDIA驱动和CUDA工具包比较方便。首先添加NVIDIA的官方软件仓库sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update然后安装推荐的NVIDIA驱动。你可以使用以下命令查看可用的驱动版本并选择标注为“recommended”的那个。ubuntu-drivers devices假设推荐的是nvidia-driver-535则安装它sudo apt install -y nvidia-driver-535重要提示安装驱动后必须重启系统才能使驱动生效。sudo reboot重启后登录系统再次打开终端。通过以下命令验证驱动和CUDA驱动包通常包含一个最小化的CUDA运行时是否安装成功nvidia-smi这个命令会输出一个表格显示你的显卡型号、驱动版本以及CUDA版本。只要能看到显卡信息并且CUDA版本在11.0以上就说明环境基本没问题了。如果nvidia-smi命令未找到说明驱动可能没装好需要回头检查一下。4. 第三步获取模型与WebUI——使用预置镜像手动配置Python依赖、下载模型权重文件可能会遇到网络问题、版本冲突等各种麻烦。这里我推荐一个更高效、更稳定的方法直接使用预配置好的Docker镜像。假设你已经在一个提供了GPU实例的平台比如一些云服务商或本地的容器平台上操作并且该平台支持从镜像仓库直接拉取。你可以寻找一个已经集成了通义千问1.5-1.8B-Chat-GPTQ-Int4和流行WebUI如text-generation-webui或Ollama WebUI的镜像。例如拉取一个假设名为registry.example.com/qwen-1.8b-chat-gptq-webui:latest的镜像sudo docker pull registry.example.com/qwen-1.8b-chat-gptq-webui:latest请注意实际的镜像名称和仓库地址需要根据你使用的平台或社区提供的镜像来修改。使用预置镜像的好处是所有的Python环境、依赖库、模型文件都已经放在镜像里了你不需要再操心pip install时令人头疼的依赖冲突。5. 第四步一键启动服务——运行容器拉取镜像后我们就可以通过一条命令来启动WebUI服务了。最关键的是要把GPU设备挂载到容器内部并且把容器的服务端口映射到宿主机的端口上。运行下面这个命令sudo docker run -d --gpus all --name qwen-webui \ -p 7860:7860 \ -v /path/to/your/data:/app/data \ registry.example.com/qwen-1.8b-chat-gptq-webui:latest我来解释一下这条命令的几个关键部分-d让容器在后台运行。--gpus all将宿主机的所有GPU都分配给这个容器这是模型能使用GPU计算的关键。--name qwen-webui给容器起个名字方便管理。-p 7860:7860端口映射。将容器内部的7860端口WebUI默认端口映射到宿主机的7860端口。这样你就能通过http://你的服务器IP:7860来访问界面了。-v /path/to/your/data:/app/data数据卷挂载。把宿主机的某个目录比如/home/user/qwen_data挂载到容器内的/app/data目录。这可以用来持久化保存对话历史、配置文件等避免容器删除后数据丢失。最后一行就是你要运行的镜像名。运行命令后可以用下面的命令查看容器是否在正常运行sudo docker ps你应该能看到一个名为qwen-webui的容器状态是“Up”。服务启动可能需要一两分钟来加载模型。你可以查看容器的日志来了解进度sudo docker logs -f qwen-webui当你看到日志中出现类似“Running on local URL: http://0.0.0.0:7860”的信息时就说明服务已经准备好了。6. 第五步常见问题与故障排除即使按照步骤来有时也会遇到一些小问题。这里我列举几个在Ubuntu 20.04上部署时可能遇到的典型问题及其解决方法。问题一端口7860被占用如果启动容器时提示端口冲突说明7860端口已经被其他程序可能是你之前运行的其他WebUI占用了。你有两个选择停止占用端口的程序找到并停止它。换一个端口映射修改docker run命令中的端口映射比如改成-p 8860:7860这样你就要通过http://IP:8860来访问。问题二Docker权限错误如果你在运行docker命令时总是需要sudo或者遇到权限拒绝的错误可以将你的用户加入docker用户组。sudo usermod -aG docker $USER执行这个命令后你需要完全退出当前终端会话关闭所有窗口然后重新登录权限更改才会生效。问题三GPU在容器内不可用如果容器启动了但日志显示模型在用CPU运行或者nvidia-smi在容器内不工作。首先确保宿主机的nvidia-smi正常。然后检查Docker的GPU运行时是否安装docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu20.04 nvidia-smi如果这条命令能输出显卡信息说明Docker GPU支持是好的。如果报错你可能需要安装nvidia-container-toolkitdistribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo systemctl restart docker问题四磁盘空间不足模型文件有好几个GB确保你的系统磁盘尤其是/var/lib/docker目录所在的分区有至少10GB的可用空间。可以使用df -h命令查看。7. 总结与下一步走到这里如果你能在浏览器中打开http://你的服务器IP地址:7860并看到一个聊天界面那么恭喜你通义千问1.5-1.8B-Chat的WebUI已经在你的Ubuntu 20.04上成功安家了。整个流程的核心思路其实很清晰先确保操作系统和显卡驱动这个“地基”是稳固的然后通过Docker镜像这个“预制件”来跳过繁琐的软件安装和配置过程最后以容器的方式一键运行服务。这种方法最大程度地避免了环境冲突复现性也非常好。接下来你可以在这个WebUI里尽情体验模型的对话能力了。试着问它一些问题让它写点代码或者总结一段文字感受一下这个轻量级模型的实际表现。如果未来需要更新模型版本或者WebUI界面通常只需要拉取新的镜像并重新运行容器即可非常方便。希望这篇教程能帮你顺利趟平了部署的道路把更多精力花在探索模型本身的有趣应用上。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。