在VMware虚拟机中部署Nanbeige 4.1-3B本地开发与测试环境搭建想在自己的电脑上跑一个像样的AI模型但又没有专业的GPU服务器或者你只是想先搭个环境熟悉一下流程为后续在云平台部署做准备今天我们就来聊聊怎么用你手头可能就有的VMware虚拟机一步步把Nanbeige 4.1-3B这个模型给跑起来。这其实是一个挺实用的场景。很多朋友在接触AI模型部署时直接上云可能会觉得成本高或者流程陌生。先在本地虚拟机里折腾一遍成本几乎为零还能把每一步都摸清楚踩过的坑自己都能记住。等流程跑通了再迁移到星图这样的GPU平台就会顺利很多。整个过程就像在自家后院先练练手再去参加正式比赛。1. 准备工作理清思路与备好“食材”在开始动手之前我们得先知道要做什么以及需要准备些什么。这次部署的核心目标是在一个隔离的虚拟机环境里用Docker容器的方式启动Nanbeige 4.1-3B模型的服务。这样做的好处是环境干净、可重复并且非常接近生产环境的部署方式。你需要准备的东西很简单一台性能还不错的电脑作为宿主机器。因为虚拟机要分走一部分资源所以电脑的内存最好有16GB或以上CPU核心数多一些更好。硬盘空间预留个50GB会比较从容。VMware Workstation Player 或 Pro这是创建和管理虚拟机的软件。Player版对个人用户免费功能足够我们使用。确保你已经安装好了它。一个Linux系统的虚拟机我们将在这个虚拟机里进行操作。推荐使用Ubuntu 22.04 LTS版本因为它社区支持好遇到问题容易找到解决方案。你可以提前在VMware里安装好一个Ubuntu 22.04的虚拟机。对于虚拟机的配置我建议至少分配CPU4个核心。内存8GB如果宿主机器内存充足给12GB更佳。硬盘40GB采用动态分配的模式即可。网络选择“桥接模式”Bridged这样虚拟机会获得一个和你宿主机同网段的独立IP方便后续访问。准备好这些我们的“厨房”和“基础食材”就齐了接下来开始正式的烹饪。2. 搭建厨房配置虚拟机基础环境首先启动你的Ubuntu虚拟机并登录。我们需要把这个“毛坯房”装修成适合运行Docker和AI模型的环境。2.1 系统更新与工具安装打开终端我们先把系统更新到最新并安装一些必要的工具。# 更新软件包列表并升级现有软件 sudo apt update sudo apt upgrade -y # 安装一些常用的工具如网络调试、压缩解压等 sudo apt install -y curl wget net-tools zip unzip2.2 安装Docker与Docker ComposeDocker是我们用来运行模型镜像的容器引擎必须安装。我们将使用官方提供的一键安装脚本这是最方便的方法。# 下载并运行Docker安装脚本 curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh # 将当前用户加入docker组这样以后就不用每次都加sudo了 sudo usermod -aG docker $USER重要执行完用户组修改后你需要完全退出当前终端并重新登录虚拟机或者直接重启虚拟机这个改动才能生效。接下来安装Docker Compose它是一个用于定义和运行多容器Docker应用的工具虽然我们这次可能用不到复杂的多容器但安装上以备不时之需。# 下载Docker Compose的稳定版本 sudo curl -L https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose # 赋予执行权限 sudo chmod x /usr/local/bin/docker-compose # 验证安装是否成功 docker --version docker-compose --version如果这两条命令都能正确输出版本号说明我们的“厨房核心设备”Docker已经安装成功了。3. 获取“菜谱”拉取与运行模型镜像环境准备好了现在可以把模型的Docker镜像拉取到本地并运行起来。这里我们假设你已经从可靠的镜像仓库例如星图镜像广场获取到了Nanbeige 4.1-3B的镜像名称。3.1 拉取Docker镜像在终端中执行拉取命令。这个过程会下载镜像文件时间长短取决于你的网络速度和镜像大小。# 替换 your_image_name 为实际的镜像名例如 registry.cn-hangzhou.aliyuncs.com/xxx/nanbeige:4.1-3b docker pull your_image_name拉取完成后可以用docker images命令查看本地已有的镜像列表确认镜像已经存在。3.2 运行模型服务容器这是最关键的一步。我们需要以正确的参数启动一个Docker容器。模型通常会通过一个HTTP API服务来提供推理能力。# 运行容器将容器的端口映射到宿主机的端口 docker run -d \ --name nanbeige \ -p 8000:8000 \ --restart unless-stopped \ your_image_name我来解释一下这几个参数-d让容器在后台运行。--name nanbeige给容器起个名字方便管理。-p 8000:8000端口映射。把容器内部的8000端口映射到虚拟机宿主机的8000端口。这样我们就能通过访问虚拟机的IP和8000端口来调用模型服务了。--restart unless-stopped设置重启策略除非手动停止否则如果容器退出Docker会自动重启它。your_image_name替换成你拉取的镜像全名。运行后使用docker ps命令可以看到一个名为nanbeige的容器正在运行。3.3 验证服务是否正常容器跑起来了但里面的模型服务启动成功了吗我们可以查看容器的日志。# 查看容器最近一段时间的日志 docker logs --tail 100 nanbeige在日志中你应该寻找类似“Server started on port 8000”、“Model loaded successfully”或“Uvicorn running on...”这样的信息这表明模型API服务已经正常启动。更直接的验证方法是发送一个HTTP请求。在虚拟机内部我们可以用curl命令测试# 向本地服务发送一个简单的健康检查或测试请求 curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: nanbeige-4.1-3b, messages: [{role: user, content: 你好请介绍一下你自己。}], stream: false }如果返回了一段结构化的JSON数据并且content字段里有模型的回复那就大功告成了说明模型服务在虚拟机内部工作正常。4. 开门迎客配置内外网访问服务在虚拟机里跑通了但我们更希望能在宿主机你的Windows或Mac电脑上直接访问和测试它。这就涉及到网络配置。4.1 确保虚拟机网络可达还记得我们最开始给虚拟机配置的“桥接模式”网络吗在这个模式下虚拟机会像一台真实的电脑一样从你的路由器获取一个IP地址。在Ubuntu虚拟机终端里输入ip addr show或ifconfig命令找到eth0或ens33这样的网卡记下它的inet地址比如192.168.1.105。这个就是虚拟机的IP地址。现在回到你的宿主机物理电脑打开命令行CMD或PowerShell尝试ping一下这个IP地址。# 在宿主机上执行将 192.168.1.105 替换为你的虚拟机IP ping 192.168.1.105如果能ping通说明宿主机和虚拟机之间网络是连通的。如果ping不通可能需要检查虚拟机的网络适配器是否确认为“桥接模式”。宿主机的防火墙是否阻止了ICMP协议ping命令使用的协议。可以暂时关闭宿主机防火墙试试。它们是否在同一个网段。4.2 从宿主机访问模型API网络通了之后在宿主机上访问模型服务就非常简单了。你只需要把之前虚拟机内部测试用的localhost换成虚拟机的IP地址。打开宿主机上的浏览器、Postman或者任何能发送HTTP请求的工具。假设虚拟机IP是192.168.1.105那么API地址就是http://192.168.1.105:8000。你可以用同样的curl命令测试在宿主机PowerShell或终端里# 在Windows PowerShell中测试 curl -Uri http://192.168.1.105:8000/v1/chat/completions -Method POST -Headers {Content-Typeapplication/json} -Body { model: nanbeige-4.1-3b, messages: [{role: user, content: 写一首关于春天的五言绝句。}], stream: false } | ConvertFrom-Json如果能看到返回的诗词恭喜你你已经成功地在本地虚拟机部署了一个AI大模型并且可以从外部进行访问和调试了。5. 总结走完这一整套流程你会发现在VMware虚拟机里部署一个AI模型并没有想象中那么复杂。核心步骤就是准备Linux环境、安装Docker、拉取镜像、运行容器最后配置好网络。这个过程最大的价值在于为你提供了一个完全可控、零成本的沙盒环境。你可以在这里随意测试不同的启动参数学习如何查看日志和监控容器状态练习端口映射和网络配置而不用担心影响任何线上服务。所有的操作和云平台如星图上的Docker部署在理念上是相通的。当你熟悉了这套本地流程后再去使用那些提供GPU算力的云平台你会更加得心应手因为底层的基础设施和操作逻辑你已经了然于胸。当然本地虚拟机的性能有限主要适合用于流程学习、接口调试和小规模的开发测试。对于需要大量计算资源的模型训练或高并发推理还是需要依赖专业的GPU硬件。不过作为学习和开发的第一步这个虚拟机环境无疑是一个绝佳的起点。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。