GLM-4v-9b部署教程Ubuntu 22.04 LTS NVIDIA Driver 535 CUDA 12.2完整配置1. 教程概述今天我们来手把手教你如何在Ubuntu 22.04系统上从零开始部署GLM-4v-9b这个强大的多模态模型。这个模型有90亿参数不仅能看懂文字还能理解图片内容支持中英文对话特别适合做图像描述、视觉问答、图表分析这些任务。学完这篇教程你将能够在Ubuntu 22.04上正确安装NVIDIA驱动和CUDA环境下载并配置GLM-4v-9b模型用最简单的方式启动模型服务通过网页界面与模型进行图文对话不需要任何深度学习基础只要会基本的Linux命令就能跟着做。整个部署过程大概需要30-60分钟主要时间花在下载模型文件上。2. 环境准备2.1 硬件要求先来看看你的电脑需要满足什么条件最低配置GPUNVIDIA RTX 3090 24GB 或 RTX 4090 24GB内存32GB RAM存储至少50GB可用空间模型文件很大推荐配置GPURTX 4090 24GB 或更好的显卡内存64GB RAM存储100GB SSD空间模型本身大概需要18GB显存FP16精度或者9GB显存INT4量化版本。如果你只有一张24GB的卡建议用INT4版本如果有两张卡可以用完整版获得更好效果。2.2 系统要求确保你的系统是Ubuntu 22.04 LTS版本可以用这个命令查看lsb_release -a如果显示Ubuntu 22.04就可以继续。还需要安装一些基础工具sudo apt update sudo apt install -y wget curl git build-essential3. NVIDIA驱动安装3.1 卸载旧驱动如果你之前装过NVIDIA驱动最好先清理干净sudo apt purge -y nvidia* sudo apt autoremove -y3.2 安装535版本驱动Ubuntu 22.04的默认软件源里就有535版本的驱动这是最稳定的安装方式# 添加官方PPA源 sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update # 安装驱动和CUDA工具包 sudo apt install -y nvidia-driver-535 nvidia-cuda-toolkit # 重启系统让驱动生效 sudo reboot重启后用这个命令检查驱动是否安装成功nvidia-smi你应该能看到类似这样的输出重点是Driver Version显示535.xCUDA Version显示12.2--------------------------------------------------------------------------------------- | NVIDIA-SMI 535.104.05 Driver Version: 535.104.05 CUDA Version: 12.2 | |------------------------------------------------------------------------------------- | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | || | 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 On | Off | | 0% 43C P8 22W / 450W | 689MiB / 24564MiB | 0% Default | | | | N/A | -------------------------------------------------------------------------------------如果显示正常说明驱动安装成功了。4. CUDA 12.2环境配置虽然刚才安装了CUDA工具包但我们还需要设置环境变量# 编辑bash配置文件 echo export PATH/usr/local/cuda/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda/lib64:$LD_LIBRARY_PATH ~/.bashrc # 立即生效 source ~/.bashrc验证CUDA安装nvcc --version应该显示CUDA 12.2版本信息。5. 模型下载与配置5.1 创建项目目录我们先创建一个专门的工作目录mkdir -p ~/glm-4v-9b cd ~/glm-4v-9b5.2 下载模型权重GLM-4v-9b的模型文件需要在官方渠道获取。你可以通过以下方式下载访问智谱AI的官方GitHub仓库或者使用Hugging Face的模型库这里以Hugging Face为例需要先安装git-lfs# 安装git大文件支持 sudo apt install -y git-lfs # 克隆模型仓库这里用示例地址实际请用官方提供的地址 git clone https://huggingface.co/THUDM/glm-4v-9b下载时间会比较长模型文件大概有18GBFP16版本或9GBINT4版本。5.3 安装Python环境建议使用conda或者venv创建独立的Python环境# 安装miniconda如果还没安装 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda # 初始化conda ~/miniconda/bin/conda init bash source ~/.bashrc # 创建专用环境 conda create -n glm4v python3.10 -y conda activate glm4v6. 依赖包安装现在安装运行模型需要的Python包pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers4.35.0 pip install vllm0.2.6 pip install open-webui这些包分别用来torchPyTorch深度学习框架transformersHugging Face的模型加载库vllm高性能推理引擎open-webui网页界面7. 模型启动与测试7.1 使用vLLM启动模型vLLM是目前最高效的推理引擎之一启动命令很简单python -m vllm.entrypoints.openai.api_server \ --model ~/glm-4v-9b \ --tensor-parallel-size 2 \ --served-model-name glm-4v-9b \ --host 0.0.0.0 \ --port 8000这里的参数说明--tensor-parallel-size 2使用2张GPU卡如果只有1张卡就改成1--port 8000API服务端口7.2 启动Web界面等模型加载完成后需要几分钟另开一个终端启动网页界面conda activate glm4v cd ~/glm-4v-9b open-webui --port 7860现在打开浏览器访问http://你的服务器IP:7860就能看到聊天界面了。8. 基本使用演示8.1 文本对话测试在网页界面中输入你好请介绍一下你自己模型应该会回复类似这样的内容你好我是GLM-4v-9b一个多模态人工智能模型。我能够理解和处理文本和图像信息支持中英文对话可以帮助你进行图像描述、视觉问答、图表分析等多种任务...8.2 图片理解测试点击上传图片按钮选择一张图片然后问请描述这张图片的内容模型会分析图片并给出详细的描述。你可以试试各种类型的图片风景、人物、图表、文档等。8.3 多轮对话GLM-4v-9b支持连续对话你可以基于之前的对话内容继续提问用户这张图片里有什么动物 AI图片中有一只橘色的猫在草地上玩耍。用户它是什么品种的猫 AI从外观特征来看这很可能是一只橘色虎斑猫...9. 常见问题解决9.1 显存不足错误如果遇到CUDA out of memory错误可以尝试使用INT4量化版本只需要9GB显存减少--tensor-parallel-size如果用2张卡报错试试1张卡调整vLLM的--max-model-len参数减少序列长度9.2 模型加载慢第一次加载需要编译内核可能会比较慢5-10分钟之后启动就会快很多。9.3 端口冲突如果8000或7860端口被占用可以修改启动命令中的--port参数。9.4 中文显示问题确保你的系统支持中文字符集sudo apt install -y fonts-noto-cjk10. 性能优化建议10.1 使用INT4量化如果你的显存紧张可以使用INT4量化版本显存占用减半性能损失很小# 下载INT4版本模型 git clone https://huggingface.co/THUDM/glm-4v-9b-int410.2 调整推理参数根据你的需求调整vLLM参数# 更快的推理速度 --max-num-seqs 16 \ --max-num-batched-tokens 2048 # 更长的上下文 --max-model-len 819210.3 使用Docker部署对于生产环境建议使用Docker确保环境一致性FROM nvidia/cuda:12.2.2-runtime-ubuntu22.04 # 安装基础依赖 RUN apt update apt install -y python3.10 python3-pip git-lfs # 复制模型文件和代码 COPY glm-4v-9b /app/model COPY requirements.txt /app/ # 安装依赖 RUN pip install -r /app/requirements.txt # 启动命令 CMD [python, -m, vllm.entrypoints.openai.api_server, --model, /app/model, --port, 8000]11. 总结通过这个教程你应该已经成功在Ubuntu 22.04上部署了GLM-4v-9b模型。这个模型真的很强大特别是对于中文场景的图文理解任务效果相当不错。关键要点回顾确保NVIDIA驱动是535版本CUDA是12.2使用vLLM推理引擎可以获得最佳性能INT4量化版本让24GB显存的卡也能流畅运行Open-WebUI提供了友好的聊天界面下一步建议尝试不同的图片类型看看模型的表现测试多轮对话能力体验连续对话的流畅度如果要做商业应用记得查看开源协议要求GLM-4v-9b在图表理解、文档分析这些方面特别强如果你有相关需求一定要试试看。部署过程中遇到问题可以查看官方文档或者在技术社区提问。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。