VMware虚拟机中部署MiniCPM-V-2_6Windows本地开发与测试全攻略如果你是一名使用Windows系统的开发者但手头的项目又离不开Linux环境特别是需要GPU来跑一些AI模型那感觉就像穿着西装去踢球——处处别扭。直接在Windows上折腾各种兼容性问题或者用WSL有时候总会遇到一些意想不到的“惊喜”。今天咱们就来聊聊一个更“踏实”的方案在VMware虚拟机里装一个原汁原味的Ubuntu系统然后在这个“小天地”里把最近挺火的MiniCPM-V-2_6多模态模型给部署起来。这个方案的好处是环境干净、隔离性好而且通过GPU直通虚拟机里的Ubuntu也能直接调用你Windows主机上的物理显卡性能损失很小完全可以用来做本地开发和测试。整个过程听起来有点复杂但其实跟着步骤走一步步来你会发现并没有想象中那么难。这篇文章我就带你从零开始走一遍完整的流程。1. 准备工作理清思路与备好工具在动手之前我们先花几分钟把整个流程和需要的东西理清楚。这就像出门旅行前看地图心里有数路上不慌。我们的目标是在Windows电脑上通过VMware创建一个Ubuntu虚拟机并让这个虚拟机能够使用主机的NVIDIA GPU最后在这个Ubuntu系统里成功部署并运行MiniCPM-V-2_6模型服务。为了实现这个目标我们需要分三步走搭建虚拟的“房子”安装VMware创建一台Ubuntu虚拟机。给“房子”通上“高速路”配置虚拟机让它能直接访问主机的物理GPUGPU直通这是性能的关键。在“房子”里布置“工作室”在Ubuntu虚拟机里安装所有必要的依赖最后把MiniCPM-V-2_6模型服务跑起来。接下来看看你需要准备些什么一台Windows电脑这是我们的基础。确保你的电脑支持虚拟化技术VT-x/AMD-V并且已经在BIOS/UEFI中启用。这个一般默认是开的如果不确定可以搜一下自己电脑型号如何进入BIOS查看。一张NVIDIA显卡这是跑AI模型的“发动机”。AMD显卡理论上也可以但本文的GPU直通配置将以NVIDIA为例因为生态和文档更成熟。VMware Workstation Pro虚拟化软件。你可以从官网下载试用版。本文基于VMware Workstation 17 Pro进行演示。Ubuntu Server 22.04 LTS镜像我们选择服务器版因为它更轻量没有图形界面开销更适合做服务器环境。你可以从Ubuntu官网下载ISO文件。基础的命令行操作知识需要在Ubuntu的终端里敲一些命令不过别担心我都会给出来。好了地图看完了工具也备齐了咱们这就出发。2. 第一步创建你的Ubuntu虚拟机首先我们要在VMware里“建造”一台虚拟电脑并给它安装Ubuntu系统。2.1 安装VMware与创建新虚拟机安装VMware的过程就是一路“下一步”这里就不赘述了。安装完成后打开VMware Workstation Pro。点击“创建新的虚拟机”。选择“典型”配置然后点击“下一步”。在“安装客户机操作系统”这一步选择“稍后安装操作系统”点击“下一步”。客户机操作系统选择“Linux”版本选择“Ubuntu 64位”点击“下一步”。给你的虚拟机起个名字比如“MiniCPM-V-Dev”并选择一个位置来存放虚拟机文件。建议放在一个剩余空间较大的磁盘上因为后续模型文件会比较大。点击“下一步”。指定磁盘容量。对于我们的开发环境建议至少分配80GB。选择“将虚拟磁盘存储为单个文件”点击“下一步”。在“已准备好创建虚拟机”页面先别急着点完成。点击“自定义硬件...”。2.2 关键硬件配置在自定义硬件窗口我们需要调整几项关键设置这对后续GPU直通至关重要。内存根据你主机内存大小分配建议至少8GB如果主机有16GB或以上分配给虚拟机12GB会更好。处理器分配至少4个核心。如果你的CPU核心数多可以多分一些。新CD/DVD (SATA)在这里选择“使用ISO映像文件”然后浏览并选中你下载好的Ubuntu 22.04 Server ISO文件。网络适配器选择“桥接模式”这样虚拟机会获得一个和你主机在同一网段的独立IP方便后续访问。USB控制器、声卡、打印机这些我们暂时用不到可以选中后点击“移除”来释放资源。最重要的一步——添加PCI设备为GPU直通做准备点击“添加(A)...”按钮。选择“PCI设备”点击“下一步”。在设备列表中你应该能看到你的NVIDIA显卡例如“NVIDIA GeForce RTX 4060”。勾选它。点击“完成”。此时你会看到硬件列表里多了一项“PCI设备”。完成以上设置后点击“关闭”回到主向导页面点击“完成”。这样一台“空壳”虚拟机就创建好了。2.3 安装Ubuntu Server 22.04现在我们启动虚拟机开始安装系统。在VMware左侧库中选中你刚创建的虚拟机点击“开启此虚拟机”。虚拟机会从我们挂载的ISO镜像启动进入Ubuntu安装界面。选择“English”或你喜欢的语言回车。在安装类型界面直接选择“Ubuntu Server”然后回车。后续步骤按照提示进行即可大部分可以保持默认键盘布局保持默认。网络连接由于是桥接模式安装程序应该能自动获取IP直接继续。代理地址如果没有留空继续。镜像地址使用默认的继续。磁盘分区对于新手选择“Use an entire disk”并选中我们创建的那个虚拟磁盘是最简单的。它会自动配置分区。确认写入磁盘输入“yes”并回车。设置你的用户名、服务器名和密码。记住这个密码后续登录和sudo命令都需要。SSH安装强烈建议选择“Install OpenSSH server”这样以后我们可以用SSH客户端从Windows主机远程连接虚拟机操作起来更方便。特色服务Snaps可以什么都不选直接“Done”。安装完成后系统会提示重启。重启后用你设置的用户名和密码登录。恭喜现在你已经拥有了一个运行在Windows内部的、纯净的Ubuntu Linux服务器环境。接下来我们要打通最关键的一环——让这个虚拟机用上主机的“真”显卡。3. 第二步配置GPU直通PassthroughGPU直通简单说就是让虚拟机绕过虚拟化层直接接管并使用主机的物理GPU。这能带来近乎原生的图形和计算性能是我们在虚拟机里跑AI模型的前提。重要前提请确保你的CPU和主板支持IOMMU对于Intel是VT-d对于AMD是AMD-Vi。大多数现代消费级平台都支持但可能需要在BIOS中手动开启请根据你的主板型号进行搜索和设置。3.1 在Windows主机上准备为了让VMware能将GPU控制权交给虚拟机我们需要在主机上做一些设置。禁用Windows对GPU的占用在Windows搜索框输入“设备管理器”打开。找到“显示适配器”展开。你应该能看到你的NVIDIA显卡。右键点击它选择“禁用设备”。是的禁用后你的主机屏幕可能会闪烁或变黑一下这是正常的因为Windows不再使用这张显卡。如果你的主机只有这一张独显主显示器可能会切换到CPU的集成显卡上输出。请确保你的显示器连接线插在了主板上或者你有多张显卡。系统会提示你确认点击“是”。禁用成功后该设备图标上会有一个向下的箭头。3.2 在VMware中配置直通现在回到VMware软件。确保你的虚拟机处于关闭状态。右键点击你的虚拟机选择“设置”。在“硬件”选项卡找到我们之前添加的“PCI设备”。选中它。在右侧勾选“预留所有内存”这对直通稳定性很重要。同时勾选“在下次关闭后对此设备禁用加速”。这个选项的名字可能因VMware版本略有不同其含义是为此设备禁用虚拟化层的加速即准备直通。点击“确定”保存。3.3 在Ubuntu虚拟机内验证启动你的Ubuntu虚拟机并用之前设置的用户名密码登录。登录后我们需要检查GPU是否已被虚拟机识别。首先更新系统包列表sudo apt update安装一个查看PCI设备的小工具sudo apt install pciutils -y使用lspci命令查看所有PCI设备lspci | grep -i nvidia如果配置成功你应该能看到一行关于你的NVIDIA显卡的信息例如01:00.0 VGA compatible controller: NVIDIA Corporation GA106 [GeForce RTX 3060] (rev a1)。这表明虚拟机已经“看到”了这张物理显卡。至此GPU直通的硬件通道已经打通。接下来我们需要在Ubuntu里安装NVIDIA的驱动程序让系统能够真正使用这张显卡。4. 第三步在Ubuntu中安装驱动与部署环境现在我们的Ubuntu虚拟机已经拥有了“物理级”的GPU访问能力。接下来我们要把它配置成一个合格的AI开发环境。4.1 安装NVIDIA显卡驱动在Ubuntu Server上安装NVIDIA驱动有几种方法这里我们使用Ubuntu官方仓库的版本比较稳定。首先添加一个专门管理显卡驱动的PPA仓库sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update查找可用的驱动版本apt list nvidia-driver-* | grep -i available你会看到一个列表例如nvidia-driver-535nvidia-driver-545等。选择一个较新的稳定版本例如545。你可以去NVIDIA官网查看你的显卡型号推荐的最新驱动版本号。安装驱动这里以545为例sudo apt install nvidia-driver-545 -y安装过程可能会比较长并且会编译内核模块。安装完成后必须重启虚拟机以使驱动生效。sudo reboot重启后再次登录使用nvidia-smi命令验证驱动是否安装成功。nvidia-smi如果成功你会看到一个表格显示了你的GPU型号、驱动版本、CUDA版本如果是驱动自带的话以及GPU的当前状态温度、功耗、内存使用等。看到这个就说明驱动和GPU直通都完美工作了4.2 安装MiniCPM-V-2_6的依赖MiniCPM-V-2_6是一个多模态模型通常基于PyTorch等深度学习框架。我们需要安装Python、PyTorch带CUDA支持以及其他必要的库。安装Python和pipUbuntu 22.04默认可能已经安装了Python 3.10sudo apt install python3 python3-pip python3-venv -y推荐创建一个Python虚拟环境这样不会污染系统的Python环境。python3 -m venv minicpm-env source minicpm-env/bin/activate激活后你的命令行提示符前面应该会出现(minicpm-env)字样。安装PyTorch。前往 PyTorch官网根据你的环境Linux, Pip, CUDA 11.8或12.1生成安装命令。例如对于CUDA 12.1pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121注意这里安装的CUDA版本是PyTorch预编译包所需的运行时版本与你之前安装的NVIDIA驱动版本是兼容关系不必完全一致。驱动版本需要足够新以支持CUDA。安装一些通用的科学计算和工具库pip3 install numpy pandas tqdm4.3 部署与运行MiniCPM-V-2_6这里我们假设你通过Hugging Face或ModelScope等平台获取MiniCPM-V-2_6的模型文件和示例代码。具体步骤会因模型发布方的要求略有不同但大体流程如下安装模型所需的特定库。例如如果它基于Transformers库pip3 install transformers accelerate如果模型有额外的依赖比如swift、modelscope等也需要一并安装。克隆或下载模型的示例代码仓库git clone 模型代码仓库的URL cd 仓库目录根据仓库的README.md说明下载模型权重。可能需要使用git lfs或者从指定链接下载。运行提供的示例推理脚本。通常是一个Python文件例如demo.py或inference.py。你可能需要根据你的模型路径修改脚本中的配置。python demo.py如果一切顺利脚本会加载模型这可能需要几分钟取决于模型大小和磁盘速度然后你就可以输入文本或图片路径进行交互测试了。一个简单的本地服务化思路如果你想提供一个简单的HTTP API供本地其他程序调用可以使用Flask或FastAPI快速搭建一个服务。例如安装Flaskpip3 install flask然后写一个简单的app.py在内部加载模型并提供一个接收POST请求的接口来调用模型推理。5. 总结与后续建议走完这一整套流程你应该已经在Windows上的VMware虚拟机里成功搭建起了一个能直接调用物理GPU的Ubuntu开发环境并且把MiniCPM-V-2_6模型跑了起来。这个过程虽然步骤不少但每一步都是在解决一个具体的问题从虚拟机的创建、系统的安装到最关键的GPU直通配置再到最后Linux环境下的驱动和模型部署。实际体验下来只要硬件和BIOS设置支持VMware的GPU直通还是挺稳定的性能对于本地开发和模型测试来说完全够用。这比在Windows上直接处理各种环境冲突要省心得多环境也干净。如果你在过程中遇到了问题有几个排查方向首先确认BIOS里的VT-d/AMD-Vi和虚拟化技术是否都已开启其次检查Windows主机是否完全释放了GPU有时某些后台进程会占用最后仔细查看Ubuntu里nvidia-smi的输出和模型运行的错误日志。这个环境搭好之后它就是一个独立的、可复现的AI模型实验沙盒。你不仅可以测试MiniCPM-V-2_6还可以用它来尝试部署其他需要GPU的模型非常方便。下次再遇到类似“Windows环境不好搞”的情况不妨试试这个虚拟机方案。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。