VMware虚拟机部署Gemma-3-12B-IT完整教程想在本地环境测试大模型但又不想影响主机系统VMware虚拟机是个不错的选择。本文将手把手教你如何在VMware中配置GPU穿透顺利部署Gemma-3-12B-IT模型。1. 准备工作与环境要求在开始部署之前我们需要先确认你的硬件和软件环境是否满足要求。Gemma-3-12B-IT是一个12B参数的大模型对资源有一定要求。硬件要求CPU建议8核以上支持虚拟化技术内存至少32GB推荐64GB存储100GB可用空间SSD更佳GPUNVIDIA显卡至少8GB显存支持GPU穿透软件要求VMware Workstation Pro 17或更高版本Ubuntu 22.04 LTS镜像文件NVIDIA驱动程序主机和客机系统都需要网络要求稳定的互联网连接用于下载模型和依赖包建议预留50GB带宽模型下载约20GB2. 创建和配置虚拟机首先我们需要创建一个适合运行大模型的虚拟机环境。2.1 新建虚拟机打开VMware Workstation选择创建新的虚拟机建议选择自定义配置硬件兼容性Workstation 17.x客户机操作系统Linux Ubuntu 64位处理器8个内核根据主机CPU调整内存分配32GB不要超过主机可用内存的80%网络NAT模式便于下载依赖包磁盘100GB拆分成多个文件2.2 安装Ubuntu系统挂载Ubuntu 22.04镜像文件并启动虚拟机# 安装过程中重要选择 # - 最小化安装减少不必要的软件 # - 安装OpenSSH服务器便于远程管理 # - 自动分区即可除非有特殊需求安装完成后更新系统sudo apt update sudo apt upgrade -y sudo reboot3. 配置GPU穿透设置这是最关键的一步让虚拟机能够直接使用主机的GPU资源。3.1 主机端配置首先在主机系统中进行操作确保主机已安装最新NVIDIA驱动关闭VMware相关服务sudo service vmware stop sudo service vmware-usbarbitrator stop编辑VMware配置文件sudo nano /etc/vmware/config在文件末尾添加mks.gl.allowBlacklistedDrivers TRUE3.2 虚拟机设置关闭虚拟机在VMware中进行如下设置进入虚拟机设置 → 硬件 → 添加 → PCI设备选择你的NVIDIA显卡勾选所有连接和预留所有内存在选项 → 高级中启用UEFI安全引导需要禁用3.3 客机系统驱动安装启动虚拟机安装NVIDIA驱动# 添加GPU仓库 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 查找推荐驱动 ubuntu-drivers devices # 安装推荐驱动通常是最新版本 sudo apt install nvidia-driver-535 nvidia-utils-535 # 验证安装 nvidia-smi如果一切正常你应该能看到GPU信息说明GPU穿透成功。4. 安装模型运行环境现在开始配置Python环境和模型运行所需的依赖。4.1 安装Miniconda# 下载安装脚本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 安装 bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda # 初始化 source ~/miniconda/bin/activate conda init bash重新登录后创建专用环境conda create -n gemma python3.10 -y conda activate gemma4.2 安装依赖库# 安装PyTorch根据CUDA版本选择 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装Transformers和其他依赖 pip install transformers accelerate sentencepiece protobuf # 安装模型运行特定依赖 pip install einops flash-attn --no-build-isolation5. 下载和运行Gemma模型现在我们来下载并运行Gemma-3-12B-IT模型。5.1 获取模型权重首先需要申请模型访问权限具体步骤略然后使用huggingface-cli下载# 安装huggingface hub pip install huggingface_hub # 设置HF token需要先申请 huggingface-cli login # 下载模型约20GB需要一段时间 python -c from huggingface_hub import snapshot_download snapshot_download( google/gemma-3-12b-it, local_dir./gemma-3-12b-it, ignore_patterns[*.h5, *.ot, *.msgpack] ) 5.2 创建推理脚本创建run_gemma.py文件import torch from transformers import AutoTokenizer, AutoModelForCausalLM # 加载模型和分词器 model_id ./gemma-3-12b-it tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained( model_id, device_mapauto, torch_dtypetorch.float16 ) # 推理函数 def generate_response(prompt): inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_length512, temperature0.7, do_sampleTrue ) response tokenizer.decode(outputs[0], skip_special_tokensTrue) return response # 测试 if __name__ __main__: prompt 请解释一下机器学习的基本概念 response generate_response(prompt) print(模型回复:, response)5.3 运行模型python run_gemma.py第一次运行会需要一些时间加载模型后续调用就会快很多。6. 性能优化技巧为了让模型在虚拟机中运行得更流畅这里有一些实用技巧。6.1 内存优化# 在加载模型时使用内存优化配置 model AutoModelForCausalLM.from_pretrained( model_id, device_mapauto, torch_dtypetorch.float16, low_cpu_mem_usageTrue, use_safetensorsTrue )6.2 使用4位量化如果显存紧张可以使用4位量化减少内存占用pip install bitsandbytesfrom transformers import BitsAndBytesConfig quantization_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16 ) model AutoModelForCausalLM.from_pretrained( model_id, quantization_configquantization_config, device_mapauto )6.3 调整VMware设置在虚拟机设置中调整以下参数可以提升性能显存分配尽可能多分配显存给虚拟机CPU核心根据主机核心数合理分配建议留2核给主机内存锁定启用预留所有内存选项7. 常见问题解决在部署过程中可能会遇到一些问题这里提供一些解决方案。GPU不被识别检查主机和客机驱动版本是否匹配确认VMware版本支持GPU穿透尝试重启VMware服务内存不足减少模型并行度使用量化版本增加虚拟机内存分配下载中断使用huggingface-cli download命令的resume-download选项设置网络代理如果需要性能低下检查是否真的使用了GPU通过nvidia-smi确认调整虚拟机CPU和内存分配关闭主机上不必要的程序释放资源8. 总结整体走下来在VMware虚拟机中部署Gemma-3-12B-IT其实没有想象中那么复杂主要是GPU穿透那一步需要仔细配置。一旦配好了后面的步骤就都比较标准了。实际测试下来性能损失比预想的要小大概有主机直接运行的85%左右的性能对于测试和开发来说完全够用了。最大的好处自然是环境隔离不用担心把主机系统搞乱。如果你在部署过程中遇到问题建议先检查GPU穿透是否成功这是最关键的一步。确认nvidia-smi能正常显示信息后再进行后续步骤能避免很多不必要的麻烦。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。