1. 为什么选择OpenMMLab一个实战派的视角如果你刚接触计算机视觉或者是从其他深度学习框架比如TensorFlow转过来的朋友第一次听到OpenMMLab这个名字可能会有点懵。别担心我刚开始也一样。简单来说你可以把它理解为一个“视觉算法全家桶”。想象一下你想做目标检测、图像分割、姿态估计、视频理解等等任务如果每个任务都去GitHub上找一个独立的开源项目那光是配环境、学接口就能让你头大。OpenMMLab就是来解决这个问题的它把计算机视觉里几乎所有主流任务和SOTA最先进算法都整合到了一个统一的、模块化的框架体系里。我最早接触OpenMMLab是在2019年当时为了复现一篇论文里的检测算法自己吭哧吭哧写了快一个月的代码调试得焦头烂额。后来发现了MMDetection只用了几行配置代码就把模型跑起来了那种感觉就像发现了新大陆。到现在我已经在好几个实际的工业项目里用上了OpenMMLab的各个库比如用MMDetection做缺陷检测用MMSegmentation做遥感图像分割。实战下来最大的感受就是效率高坑少社区活跃。这个生态的核心是MMCV你可以把它看作是整个OpenMMLab大厦的地基。它封装了所有底层、通用的视觉操作比如数据加载、模型构建、训练循环、分布式训练等等。上层的各个算法库MMDetection, MMSegmentation等都基于MMCV构建这就保证了它们的使用体验高度一致。你学会了其中一个其他的基本上就能触类旁通。目前OpenMMLab已经开源了超过30个算法库涵盖了300多种算法和2000多个预训练模型这个生态的丰富程度在开源社区里是数一数二的。2. 环境搭建避开新手最容易踩的坑万事开头难环境搭建是劝退很多新手的第一个门槛。网上的教程很多但经常因为系统、软件版本不同而失效。我这里会结合我这些年踩过的坑给你一个最稳妥、最详细的搭建方案。我们的目标是一次成功避免反复折腾。2.1 准备工作选择你的“作战平台”首先你需要一个Python环境管理工具。我强烈推荐使用Miniconda而不是完整的Anaconda。Miniconda只包含最核心的conda和Python非常轻量不会预装一大堆你用不上的科学计算包避免环境冲突。去Miniconda官网下载对应你操作系统的安装包即可。接下来是Python版本的选择。OpenMMLab的各个库对Python 3.7都支持良好。我个人的经验是选择Python 3.8是一个比较稳妥的方案。它既不是太老避免了某些新特性不支持又经过了足够长时间的市场检验第三方库的兼容性最好。Python 3.9和3.10当然也可以用但偶尔会遇到一些边缘库的编译问题对于新手来说3.8是风险最低的选择。最后是PyTorch版本。这是最关键的一步因为它决定了你后续安装的MMCV版本。PyTorch官网会给你一个安装命令但那里默认的源下载速度可能很慢。我建议先配置好国内的conda镜像源比如清华源然后用conda命令安装。打开你的终端Linux/macOS的TerminalWindows的Anaconda Prompt或PowerShell依次执行以下命令来配置源并创建环境# 配置清华conda镜像源加速下载 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --set show_channel_urls yes # 创建一个名为openmmlab的虚拟环境并指定Python 3.8 conda create -n openmmlab python3.8 -y # 激活这个环境 conda activate openmmlab创建好环境后我们安装PyTorch。这里有一个非常重要的细节CUDA版本、PyTorch版本和后续MMCV版本必须匹配。如果你有NVIDIA显卡并打算使用GPU先去命令行输入nvidia-smi查看你的显卡驱动支持的CUDA最高版本比如显示“CUDA Version: 11.7”。然后去PyTorch官网生成安装命令。例如对于CUDA 11.7命令可能是# 使用conda安装PyTorch、Torchvision和CUDA Toolkit conda install pytorch torchvision pytorch-cuda11.7 -c pytorch -c nvidia如果你没有GPU或者想在CPU上先跑通流程那就安装CPU版本conda install pytorch torchvision cpuonly -c pytorch用conda安装的好处是它会自动帮你解决cudatoolkit等底层依赖的版本问题比自己用pip安装省心很多。安装完成后在Python里运行import torch; print(torch.__version__); print(torch.cuda.is_available())来验证PyTorch安装成功并且CUDA可用如果安装了GPU版的话。2.2 核心安装MMCV与MMDetection基础环境搞定现在来安装OpenMMLab的核心。这里我强烈推荐使用官方维护的MIMMMlab Installation Manager工具。它就像OpenMMLab生态的“App Store”能自动处理复杂的依赖关系特别是MMCV的编译问题。首先安装MIM和MMCV。MMCV有两个版本mmcv和mmcv-full。mmcv是精简版只包含最核心的功能mmcv-full是完整版包含所有CUDA算子性能更高。我们做模型训练和推理肯定要装完整版。# 激活你的环境如果还没激活 conda activate openmmlab # 安装MIM pip install openmim -i https://pypi.tuna.tsinghua.edu.cn/simple # 使用MIM安装完整版MMCV。它会自动检测你的PyTorch和CUDA版本安装对应的预编译包。 # 这是最关键的一步能避免自己编译带来的各种奇怪错误。 mim install mmcv2.0.0安装完MMCV接下来安装MMDetection。有两种方式源码安装和pip直接安装。源码安装推荐给开发者或需要修改代码的人这种方式会把代码克隆到本地并以“可编辑”模式安装。这意味着你修改源码后能立刻生效非常适合学习和调试。git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection pip install -v -e .命令里的-e代表“editable”可编辑.代表当前目录。pip直接安装推荐给只想快速使用的用户这是最快捷的方式适合只想调用API不关心内部代码的同学。pip install mmdet我一般做项目时会先pip安装一个稳定版本来保证基础功能同时再源码安装一个开发版本来进行定制化修改。对于新手入门我建议先用pip安装把流程跑通减少复杂度。3. 验证安装运行你的第一个检测模型环境装好了怎么知道成没成功最怕的就是那种“看起来装好了一跑代码就报错”的情况。OpenMMLab官方提供了一个非常友好的验证方式用预训练模型对一张图片进行推理。我们一步步来。3.1 下载模型与测试图片首先我们需要一个训练好的模型权重和一个测试图片。MMDetection在安装时已经在demo/目录下自带了一张示例图片demo.jpg里面是一张有公交车和人的街景。我们只需要下载模型权重。这里又要用到MIM这个神器了。它不仅能安装包还能直接从OpenMMLab的模型仓库下载预训练模型和对应的配置文件。我们选一个轻量级的模型来测试比如RTMDet-tiny它速度快对硬件要求低。在你的工作目录下比如mmdetection目录外避免污染源码打开终端并激活环境执行# 使用mim下载模型--config指定模型配置名--dest指定下载目录.代表当前目录 mim download mmdet --config rtmdet_tiny_8xb32-300e_coco --dest .运行后你会看到当前目录下多了两个文件rtmdet_tiny_8xb32-300e_coco.py配置文件和rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth权重文件。这个配置文件非常重要它定义了模型的结构、训练策略、数据 pipeline 等所有信息是OpenMMLab“配置驱动”理念的核心。3.2 执行推理并理解输出现在万事俱备只差一行命令。我们使用MMDetection自带的演示脚本image_demo.py来进行推理。# 假设你当前在mmdetection的根目录下 python demo/image_demo.py \ demo/demo.jpg \ # 输入图片路径 rtmdet_tiny_8xb32-300e_coco.py \ # 刚下载的配置文件路径 --weights rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth \ # 权重文件路径 --device cuda:0 \ # 使用GPU如果是CPU则改为 --device cpu --out-file result.jpg # 输出图片路径如果一切顺利几秒钟后你就会在当前目录下看到一个名为result.jpg的新图片。用图片查看器打开它你会看到原来的街景图片上画出了许多彩色的矩形框并且标出了“bus”、“person”等类别和置信度分数。恭喜你这不仅仅意味着你的环境安装完全正确更代表你已经成功地运行了OpenMMLab体系下的第一个目标检测模型。这个“开箱即用”的体验正是OpenMMLab设计哲学的一个完美体现。3.3 深入一步看看代码里发生了什么仅仅跑通还不够我们得知道这行命令背后发生了什么。打开demo/image_demo.py这个文件看看它的核心逻辑其实非常清晰参数解析脚本首先用argparse模块解析我们刚才在命令行里输入的所有参数图片路径、config文件、权重文件等。模型初始化调用init_detector(config, checkpoint, device)这个函数。这个函数是MMDetection提供的“一站式”模型构建器。它做了三件事读取config文件根据里面的定义像搭积木一样构建出整个模型的结构Backbone, Neck, Head等。加载checkpoint权重文件将预训练的参数填充到模型里。将模型放到指定的deviceCPU或GPU上。推理调用inference_detector(model, img)函数。模型会处理输入图片输出预测结果。可视化调用show_result_pyplot或类似函数把预测的边界框、类别标签和置信度画到原图上并保存。你可以尝试在Python交互环境中手动模拟这个过程并打印中间结果from mmdet.apis import init_detector, inference_detector import mmcv # 1. 初始化模型 config_file rtmdet_tiny_8xb32-300e_coco.py checkpoint_file rtmdet_tiny_8xb32-300e_coco_20220902_112414-78e30dcc.pth model init_detector(config_file, checkpoint_file, devicecuda:0) # 或 cpu # 2. 推理单张图片 img demo/demo.jpg result inference_detector(model, img) # 3. 看看结果是什么 print(type(result)) # 你会看到是一个 list print(len(result)) # 长度是80对应COCO数据集的80个类别 # 查看第一类通常是‘person’的检测结果 if len(result[0]) 0: print(result[0][0]) # 打印第一个检测到的‘人’的信息[x1, y1, x2, y2, score] # 4. 可视化 model.show_result(img, result, out_filemy_result.jpg)通过这段代码你可以直观地看到result变量是一个长度为80的列表每个元素对应COCO数据集中的一个类别里面是一个Nx5的数组N代表检测到该类别物体的数量5分别代表边界框的左上角x、y坐标右下角x、y坐标以及置信度。这种数据结构设计得非常清晰便于后续处理。4. 不同操作系统下的特别注意事项虽然Linux是深度学习开发的首选但很多同学尤其是在校学生主力机是Windows或macOS。别担心OpenMMLab对这些平台的支持也越来越好只是有些细节需要注意。4.1 Windows平台实战在Windows上最大的挑战来自于一些需要编译的C/CUDA扩展。好消息是对于MMCVMIM提供了预编译的Windows版本轮子wheel只要你的PyTorch、CUDA版本匹配安装非常顺畅。步骤和Linux几乎一样安装Visual Studio Build Tools主要是为了提供C编译器。安装时勾选“使用C的桌面开发”工作负载。使用Miniconda和上述完全相同的命令创建环境、安装PyTorch。使用mim install “mmcv2.0.0”安装MMCV。MIM会自动选择适合Windows的预编译包。安装MMDetection时强烈建议使用pip安装(pip install mmdet)避免源码编译可能遇到的问题。如果遇到权限问题记得用管理员身份打开Anaconda Prompt或PowerShell。路径中尽量避免中文和空格。4.2 macOS平台实战macOS尤其是Apple Silicon芯片的Mac的情况比较特殊。由于没有NVIDIA GPU你只能使用CPU版本。安装步骤同样简化使用Miniconda创建环境。安装PyTorch的CPU版本conda install pytorch torchvision -c pytorch。安装MMCV时MIM也会安装CPU版本。但请注意macOS上某些算子可能没有优化速度会比LinuxGPU慢很多。同样使用pip install mmdet来安装MMDetection。对于M1/M2芯片的用户可以尝试使用PyTorch的Nightly版本以获得更好的ARM原生支持但稳定性需要自己测试。4.3 Linux平台云服务器/实验室环境这是最推荐的环境。除了上述通用步骤在Linux服务器上你还需要注意CUDA驱动确保服务器管理员已安装合适的NVIDIA驱动。你可以通过nvidia-smi检查。权限问题如果你没有sudo权限所有安装都必须发生在你的用户目录下。使用conda或pip install --user可以解决。虚拟环境在多人共用的服务器上使用conda虚拟环境是绝对必要的它能完美隔离不同项目、不同用户的依赖。网络问题服务器如果在国内务必配置conda和pip的国内镜像源否则下载速度会慢到怀疑人生。5. 下一步从跑通Demo到训练自己的模型成功运行Demo只是一个开始OpenMMLab真正的威力在于其灵活、统一的配置系统让你能轻松地训练和测试自己的模型。这里我为你勾勒出接下来的学习路径。核心概念配置文件Config在OpenMMLab里一切皆配置。一个完整的配置文件比如我们下载的rtmdet_tiny_8xb32-300e_coco.py定义了实验的所有方面模型Model网络结构、损失函数。数据Data训练集、验证集、测试集的路径和预处理流程如随机翻转、归一化。训练策略Schedule优化器如AdamW、学习率策略、训练轮次。运行时Runtime日志间隔、模型保存间隔、工作目录等。如何训练自己的模型假设你有一个自定义的数据集格式是COCO或者VOC。典型的步骤如下准备数据将数据集整理成规定的格式如COCO的json标注并划分好训练集和验证集。修改配置文件你不需要从头写一个config。通常的做法是“继承”一个现有的、与你任务相近的config比如同样是目标检测同样是COCO格式然后只修改其中关键的部分比如修改data_root和ann_file路径指向你的数据集。修改num_classes为你数据集的类别数。根据你的GPU内存调整batch_size和img_scale图片缩放尺寸。启动训练使用tools/train.py脚本。python tools/train.py your_config_file.py --work-dir ./work_dir训练日志、模型权重都会保存在--work-dir指定的目录下。测试与推理训练完成后使用tools/test.py在测试集上评估性能或者用我们刚才用过的demo/image_demo.py对单张图片进行推理。遇到问题怎么办OpenMMLab拥有非常活跃的社区和详尽的文档。官方文档这是你最好的朋友。每个库都有详细的API文档、教程和迁移指南。遇到任何函数或类不清楚首先查文档。GitHub Issues你遇到的问题很可能别人已经遇到并解决了。在对应仓库的Issues里搜索关键词是解决问题的捷径。OpenMMLab官方公众号和知乎会发布最新的技术解读、版本更新和社区活动。从我个人的经验来看从“跑通Demo”到“成功训练第一个自定义模型”中间最主要的障碍其实是数据准备和配置文件的理解。一旦跨过这一步你就会发现利用OpenMMLab强大的模型库快速进行算法实验和迭代是一件非常高效的事情。它把那些重复的、底层的代码劳动都省去了让你能更专注于模型设计、调参和解决实际的业务问题。