尧图网页设计 
简介图像分割是计算机视觉的核心任务之一旨在将图像划分为具有特定意义的区域。其原理通常基于深度学习模型学习像素级语义特征实现精准的对象识别与轮廓提取。这项技术的价值在于为自动驾驶、医学影像分析、工业质检等场景提供关键的感知能力。随着Meta发布Segment Anything ModelSAM零样本通用分割成为可能但其官方实现依赖Python环境。对于工业视觉、嵌入式设备等对性能和部署有严苛要求的场景将SAM模型通过ONNX格式转换并进行C本地部署成为关键需求。本文聚焦于SAM模型的C工程化实践详细拆解了从PyTorch模型到ONNX格式的转换、利用ONNX Runtime搭建高效推理引擎、以及处理图像预处理与坐标映射等核心步骤为在纯C环境中集成前沿视觉模型提供了完整解决方案。1. 项目概述当Segment Anything遇上C本地部署最近在图像分割的圈子里Meta的Segment Anything ModelSAM绝对是绕不开的话题。这个模型以其“万物皆可分割”的零样本能力刷新了大家对通用分割模型的认知。官方提供了基于Python的演示和接口对于快速原型验证和云端服务来说非常方便。但作为一名长期深耕C环境尤其关注工业视觉、嵌入式设备或对运行时性能、内存占用有严苛要求的开发者你可能会和我有一样的想法能不能把这套强大的能力用C在本地“驯服”让它脱离Python的依赖真正集成到我们的C项目流水线里这个想法背后是实打实的工程需求。想象一下你需要在一台没有Python环境的工业工控机上实时处理产线图像或者你的核心业务系统全部由C构建引入Python不仅会增加部署复杂度还可能带来性能瓶颈和依赖管理的噩梦。再者对于追求极致推理速度的场景比如自动驾驶的感知模块或移动端应用用C直接调用经过优化的推理引擎往往是更可靠的选择。因此将SAM模型进行C本地部署不仅仅是一个技术挑战更是打通从前沿算法研究到实际生产落地“最后一公里”的关键一步。本文将基于我近期将一个中等尺寸的SAM模型如vit_b成功部署到纯C环境中的实践经验为你拆解整个流程。我们会从模型转换与准备开始一步步搭建推理环境实现前处理与后处理逻辑并最终封装成一个简洁易用的C接口。过程中遇到的坑和性能调优的技巧我也会毫无保留地分享出来。无论你是想将SAM集成到现有的C视觉系统中还是单纯对模型部署技术感兴趣相信这篇长文都能给你带来直接的参考价值。2. 核心思路与方案选型在开始动手之前我们必须明确目标我们要的不是一个能“跑起来”的Demo而是一个高效、稳定、易于集成的C推理模块。这意味着我们需要在模型格式、推理后端、前后处理等多个环节做出合适的选择。2.1 模型格式转换从PyTorch到ONNXSAM的官方实现基于PyTorch。在C生态中直接加载.pth文件是极其困难且不推荐的。因此模型转换是第一步。主流的中间格式有ONNX和TorchScript。为什么选择ONNXONNXOpen Neural Network Exchange已经成为深度学习模型交换的事实标准它拥有更广泛的运行时支持如ONNX Runtime, TensorRT, OpenVINO等。SAM模型中包含一些动态操作如基于输入点生成位置编码ONNX对动态形状的支持相对更成熟和稳定。相比之下TorchScript与PyTorch绑定更紧在跨平台和不同后端推理引擎上的灵活性稍逊一筹。转换中的关键点SAM的推理包含两个核心部分图像编码器和提示解码器。图像编码器Vision Transformer通常一次性处理整张图像生成图像嵌入。这个部分输入输出形状固定转换相对简单。难点在于提示解码器它需要接受多种灵活的提示点、框、掩码作为输入。在转换时我们需要仔细定义输入的动态维度如提示点的数量num_points并确保所有控制流如if-else都能被ONNX正确导出。官方仓库通常提供了导出ONNX模型的脚本但可能需要根据你的C后端需求进行微调。注意转换时务必指定opset_version例如14或更高以确保算子兼容性。同时开启动态轴设置例如对于点提示的坐标输入将其维度设置为[batch, num_points, 2]其中num_points是动态的。2.2 推理后端选择平衡易用性与性能得到ONNX模型后我们需要一个C推理引擎来加载并执行它。常见的选择有ONNX Runtime (ORT)微软开源跨平台支持最好Windows, Linux, macOS ARM等API简洁对ONNX标准支持最全面。它提供了CPU、CUDA、TensorRT等多种Execution Provider可以灵活切换。对于追求快速验证和部署便捷性的项目ORT通常是首选。TensorRTNVIDIA的官方高性能推理SDK在NVIDIA GPU上能提供极致的推理速度。但它需要将ONNX模型进一步编译成TensorRT的专属引擎.engine文件这个过程可能遇到不支持的算子需要自定义插件门槛较高。OpenVINO英特尔的开源工具套件针对Intel CPU、集成显卡和独立显卡做了深度优化。如果你的部署环境是Intel x86架构的CPUOpenVINO通常能提供比ORT CPU后端更好的性能。LibTorch (C Frontend)理论上可以直接加载TorchScript模型避免了ONNX转换。但这样会将整个PyTorch运行时引入体积庞大且可能遇到移动端兼容性问题与“轻量本地部署”的初衷有些背离。我的选择与理由对于大多数通用场景我推荐从ONNX Runtime开始。理由如下它的C API稳定文档清晰社区活跃。我们可以先使用CPU或CUDA Provider让整个流程跑通后续如果需要极致GPU性能可以较为平滑地迁移到TensorRTORT本身可以集成TensorRT作为Provider。本文的后续实操也将基于ONNX Runtime C API进行。2.3 项目结构设计一个清晰的工程结构能事半功倍。我建议的目录结构如下sam_cpp_deploy/ ├── CMakeLists.txt ├── models/ │ ├── sam_image_encoder.onnx │ ├── sam_prompt_decoder.onnx │ └── sam_mask_decoder.onnx # 有时编码解码会分开 ├── src/ │ ├── sam.cpp │ ├── sam.h │ ├── preprocess.cpp │ ├── preprocess.h │ ├── postprocess.cpp │ ├── postprocess.h │ └── main.cpp # 示例使用代码 ├── third_party/ # 存放ONNX Runtime等库 ├── build/ └── README.md核心模块包括sam.h/cpp主类负责加载模型、管理推理会话、协调前处理与后处理。preprocess.h/cpp图像预处理包括缩放、归一化、转换为Tensor等。postprocess.h/cpp后处理将模型输出的低分辨率掩码上采样并应用阈值得到二值图。3. 环境搭建与依赖配置“工欲善其事必先利其器”。一个可靠的C开发环境是基础。这里我以Linux系统Ubuntu 20.04/22.04和VSCode为例Windows和macOS在具体路径和包管理上略有不同但核心步骤相似。3.1 基础开发环境准备首先确保你的系统有基本的编译工具和CMakesudo apt update sudo apt install build-essential cmake git wget unzip如果你使用VSCode建议安装C/C扩展ms-vscode.cpptools和CMake Tools扩展它们能极大提升开发体验。3.2 获取并编译ONNX Runtime我们不直接使用系统包管理器安装而是从GitHub下载源码编译这样可以获得C共享库并灵活选择需要的Provider。下载源码git clone --recursive https://github.com/microsoft/onnxruntime.git cd onnxruntime # 选择一个稳定版本分支例如 git checkout v1.16.3编译配置我们编译一个精简版本包含CPU和CUDA如果你有NVIDIA GPU支持。./build.sh --config Release --build_shared_lib --parallel 8 --skip_tests \ --use_cuda --cuda_home /usr/local/cuda-11.8 \ # 根据你的CUDA路径修改 --cudnn_home /usr/lib/x86_64-linux-gnu \ # 根据你的cuDNN路径修改 --cmake_extra_defines CMAKE_INSTALL_PREFIX/path/to/your/install--build_shared_lib生成动态链接库.so便于分发。--use_cuda启用CUDA支持。如果仅用CPU则去掉此参数和后面的CUDA路径。CMAKE_INSTALL_PREFIX指定安装目录例如/home/user/libs/onnxruntime。编译与安装cd build/Linux/Release make -j8 make install编译完成后在安装目录下你会找到关键的include/和lib/文件夹。3.3 项目CMake配置在你的项目根目录CMakeLists.txt中需要正确链接ONNX Runtime。cmake_minimum_required(VERSION 3.16) project(SAM_CPP_Deploy) set(CMAKE_CXX_STANDARD 17) # 查找OpenCV用于图像读写和预处理 find_package(OpenCV REQUIRED) # 设置ONNX Runtime路径假设你将其安装在 /home/user/libs/onnxruntime set(ONNXRUNTIME_ROOT /home/user/libs/onnxruntime) set(ONNXRUNTIME_INCLUDE_DIR ${ONNXRUNTIME_ROOT}/include) set(ONNXRUNTIME_LIBRARY ${ONNXRUNTIME_ROOT}/lib/libonnxruntime.so) # 添加头文件目录 include_directories(${OpenCV_INCLUDE_DIRS} ${ONNXRUNTIME_INCLUDE_DIR}) # 添加可执行文件 add_executable(sam_demo src/main.cpp src/sam.cpp src/preprocess.cpp src/postprocess.cpp) # 链接库 target_link_libraries(sam_demo ${OpenCV_LIBS} ${ONNXRUNTIME_LIBRARY}) # 在构建后将ONNX Runtime的共享库复制到可执行文件旁方便运行 add_custom_command(TARGET sam_demo POST_BUILD COMMAND ${CMAKE_COMMAND} -E copy ${ONNXRUNTIME_LIBRARY} $TARGET_FILE_DIR:sam_demo )这个配置告诉CMake去找到OpenCV和ONNX Runtime并将它们链接到你的程序中。4. 核心模块实现详解环境就绪现在进入核心编码阶段。我们将按照推理流程逐一实现各个模块。4.1 图像预处理模块SAM的图像编码器要求输入图像被归一化并调整到固定尺寸如1024x1024。预处理模块需要完成读取图像、缩放、归一化、HWC转CHW、并最终转换为ONNX Runtime所需的Ort::Value对象。preprocess.h头文件定义#ifndef PREPROCESS_H #define PREPROCESS_H #include opencv2/opencv.hpp #include onnxruntime_cxx_api.h #include vector class Preprocessor { public: Preprocessor(int target_size 1024); // 核心预处理函数输入OpenCV Mat输出准备好输入图像编码器的Tensor向量 std::vectorOrt::Value process_image(const cv::Mat image); private: int target_size_; // 均值与标准差 (根据SAM训练配置通常是ImageNet的均值和标准差) const std::vectorfloat mean_ {0.485f, 0.456f, 0.406f}; const std::vectorfloat std_ {0.229f, 0.224f, 0.225f}; cv::Mat pad_to_square(const cv::Mat image, int pad_top, int pad_left); }; #endif // PREPROCESS_Hpreprocess.cpp关键实现#include preprocess.h #include iostream Preprocessor::Preprocessor(int target_size) : target_size_(target_size) {} std::vectorOrt::Value Preprocessor::process_image(const cv::Mat image) { cv::Mat image_rgb; // 1. BGR转RGB cv::cvtColor(image, image_rgb, cv::COLOR_BGR2RGB); // 2. 缩放并保持长宽比填充到正方形 int pad_top 0, pad_left 0; cv::Mat padded pad_to_square(image_rgb, pad_top, pad_left); cv::Mat resized; cv::resize(padded, resized, cv::Size(target_size_, target_size_)); // 3. 转换为float并归一化到[0,1] cv::Mat float_img; resized.convertTo(float_img, CV_32FC3, 1.0 / 255.0); // 4. 应用标准化 (减去均值除以标准差) std::vectorcv::Mat channels(3); cv::split(float_img, channels); for (int i 0; i 3; i) { channels[i] (channels[i] - mean_[i]) / std_[i]; } cv::merge(channels, float_img); // 5. HWC - CHW cv::Mat chw_img; cv::dnn::blobFromImage(float_img, chw_img); // 这个函数直接输出CHW格式的1x3xHxW Mat // 6. 创建Ort::Value std::vectorint64_t input_shape {1, 3, target_size_, target_size_}; size_t input_tensor_size target_size_ * target_size_ * 3; auto memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); std::vectorOrt::Value input_tensors; input_tensors.push_back(Ort::Value::CreateTensorfloat( memory_info, (float*)chw_img.data, input_tensor_size, input_shape.data(), input_shape.size() )); // 保存填充信息后续后处理可能需要 // 可以将其作为类成员或通过其他方式传递给后续步骤 // this-pad_info_ {pad_top, pad_left, image_rgb.rows, image_rgb.cols}; return input_tensors; } cv::Mat Preprocessor::pad_to_square(const cv::Mat image, int pad_top, int pad_left) { int h image.rows; int w image.cols; int max_dim std::max(h, w); cv::Mat padded cv::Mat::zeros(max_dim, max_dim, image.type()); pad_top (max_dim - h) / 2; pad_left (max_dim - w) / 2; image.copyTo(padded(cv::Rect(pad_left, pad_top, w, h))); return padded; }实操心得OpenCV的cv::dnn::blobFromImage函数在预处理中非常方便它一次性完成了归一化、缩放和HWC转CHW。但要注意SAM的标准化参数是固定的如果blobFromImage自带的缩放和均值参数不符合就需要像上面一样手动分步处理。填充padding步骤至关重要它保证了图像不变形但需要记录填充位置以便在后处理中将掩码映射回原始图像坐标。4.2 SAM模型封装类这是整个项目的核心负责管理ONNX Runtime会话Session协调图像编码和提示解码。sam.h头文件定义#ifndef SAM_H #define SAM_H #include onnxruntime_cxx_api.h #include opencv2/opencv.hpp #include vector #include memory struct SamPoint { float x, y; // 坐标 (相对于原始图像) int label; // 1: 前景点, 0: 背景点 }; struct SamBbox { float x1, y1, x2, y2; // 左上角和右下角坐标 }; class Sam { public: Sam(const std::string encoder_model_path, const std::string decoder_model_path, bool use_gpu false); ~Sam(); // 编码图像生成图像嵌入image embedding。通常只需执行一次。 bool encode_image(const cv::Mat image); // 根据提示点、框进行解码生成掩码 cv::Mat predict_mask(const std::vectorSamPoint points, const SamBbox bbox {0,0,0,0}, // 可选框 float* iou_pred nullptr); // 可选输出置信度 private: Ort::Env env_; Ort::SessionOptions session_options_; std::unique_ptrOrt::Session encoder_session_; std::unique_ptrOrt::Session decoder_session_; // 图像嵌入缓存避免对同一图像重复编码 std::vectorfloat image_embedding_; int original_image_height_; int original_image_width_; int pad_top_; int pad_left_; int embedding_size_; // 嵌入向量的空间尺寸如64x64 // 会话相关的输入输出名 std::vectorconst char* encoder_input_names_; std::vectorconst char* encoder_output_names_; std::vectorconst char* decoder_input_names_; std::vectorconst char* decoder_output_names_; // 内部辅助函数 std::vectorOrt::Value prepare_decoder_inputs( const std::vectorSamPoint points, const SamBbox bbox, const cv::Size original_size); }; #endif // SAM_Hsam.cpp部分关键实现构造函数与编码#include sam.h #include preprocess.h #include iostream Sam::Sam(const std::string encoder_model_path, const std::string decoder_model_path, bool use_gpu) { // 1. 初始化ONNX Runtime环境 env_ Ort::Env(ORT_LOGGING_LEVEL_WARNING, SAM_CPP); // 2. 配置会话选项 session_options_.SetIntraOpNumThreads(4); // 设置并行线程数 session_options_.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL); if (use_gpu) { OrtCUDAProviderOptions cuda_options; cuda_options.device_id 0; session_options_.AppendExecutionProvider_CUDA(cuda_options); std::cout Using CUDA provider. std::endl; } // 3. 加载编码器和解码器模型 try { encoder_session_ std::make_uniqueOrt::Session(env_, encoder_model_path.c_str(), session_options_); decoder_session_ std::make_uniqueOrt::Session(env_, decoder_model_path.c_str(), session_options_); } catch (const Ort::Exception e) { std::cerr Failed to load model: e.what() std::endl; throw; } // 4. 获取输入输出层名称 (ONNX模型导出时确定) Ort::AllocatorWithDefaultOptions allocator; auto get_names [allocator](Ort::Session session) - std::vectorconst char* { size_t num_inputs session.GetInputCount(); std::vectorconst char* names(num_inputs); for (size_t i 0; i num_inputs; i) { names[i] session.GetInputName(i, allocator); } return names; }; encoder_input_names_ get_names(*encoder_session_); // ... 同样获取输出名称和解码器输入输出名称此处省略详细代码 // 通常编码器输入名为 input_image, 输出为 image_embedding // 解码器输入可能包括 image_embedding, point_coords, point_labels, mask_input, has_mask, orig_im_size等 } bool Sam::encode_image(const cv::Mat image) { original_image_height_ image.rows; original_image_width_ image.cols; Preprocessor preprocessor(1024); // SAM默认输入尺寸 auto input_tensors preprocessor.process_image(image); // 从preprocessor获取填充信息需要稍作修改Preprocessor以返回这些信息 // this-pad_top_ ...; // this-pad_left_ ...; // 运行编码器推理 auto output_tensors encoder_session_-Run( Ort::RunOptions{nullptr}, encoder_input_names_.data(), input_tensors.data(), input_tensors.size(), encoder_output_names_.data(), encoder_output_names_.size() ); // 获取图像嵌入并缓存 auto embedding_tensor output_tensors[0]; float* embedding_data embedding_tensor.GetTensorMutableDatafloat(); auto shape embedding_tensor.GetTensorTypeAndShapeInfo().GetShape(); // shape 可能为 [1, 256, 64, 64] embedding_size_ shape[2]; // 假设为64 size_t total_elements shape[1] * shape[2] * shape[3]; image_embedding_.assign(embedding_data, embedding_data total_elements); std::cout Image encoded. Embedding shape: shape[0] , shape[1] , shape[2] , shape[3] std::endl; return true; }这个类封装了模型加载和图像编码。encode_image方法将原始图像处理成图像嵌入这是一个计算量相对较大的步骤但通常对一张图只需执行一次。4.3 提示准备与解码推理解码器需要接收用户交互提示。这是最复杂的一步因为需要将坐标点、标签等组织成模型期望的格式。sam.cpp中的解码器输入准备函数std::vectorOrt::Value Sam::prepare_decoder_inputs( const std::vectorSamPoint points, const SamBbox bbox, const cv::Size original_size) { std::vectorOrt::Value inputs; // 1. 图像嵌入 (已缓存) std::vectorint64_t embedding_shape {1, 256, embedding_size_, embedding_size_}; auto memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); inputs.push_back(Ort::Value::CreateTensorfloat( memory_info, image_embedding_.data(), image_embedding_.size(), embedding_shape.data(), embedding_shape.size() )); // 2. 点坐标和标签 (需要归一化到1024x1024的输入空间并考虑填充) size_t num_points points.size(); std::vectorfloat point_coords; std::vectorfloat point_labels; for (const auto pt : points) { // 将原始图像坐标转换到填充后正方形的坐标 float x_in_square pt.x pad_left_; float y_in_square pt.y pad_top_; // 再归一化到模型输入空间 [0, 1024] float x_norm x_in_square / (float)std::max(original_size.height, original_size.width) * 1024.0f; float y_norm y_in_square / (float)std::max(original_size.height, original_size.width) * 1024.0f; point_coords.push_back(x_norm); point_coords.push_back(y_norm); point_labels.push_back(static_castfloat(pt.label)); } // 如果提供了边界框也需要类似处理并添加到坐标和标签中 // SAM要求框用两个点表示左上和右下标签为2和3 if (bbox.x2 bbox.x1 bbox.y2 bbox.y1) { // ... 处理框坐标 ... num_points 2; // 框贡献两个点 } // 输入形状: [batch, num_points, 2] 和 [batch, num_points] std::vectorint64_t coords_shape {1, static_castint64_t(num_points), 2}; std::vectorint64_t labels_shape {1, static_castint64_t(num_points)}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, point_coords.data(), point_coords.size(), coords_shape.data(), coords_shape.size())); inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, point_labels.data(), point_labels.size(), labels_shape.data(), labels_shape.size())); // 3. 掩码输入 (初始化为零) 和 has_mask 标志 std::vectorfloat mask_input(256 * 256, 0.0f); // 低分辨率掩码输入 std::vectorint64_t mask_shape {1, 1, 256, 256}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, mask_input.data(), mask_input.size(), mask_shape.data(), mask_shape.size())); std::vectorfloat has_mask {0.0f}; // 0 表示没有先验掩码输入 std::vectorint64_t has_mask_shape {1}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, has_mask.data(), has_mask.size(), has_mask_shape.data(), has_mask_shape.size())); // 4. 原始图像尺寸 (填充前的尺寸) std::vectorfloat orig_im_size {static_castfloat(original_size.height), static_castfloat(original_size.width)}; std::vectorint64_t orig_size_shape {2}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, orig_im_size.data(), orig_im_size.size(), orig_size_shape.data(), orig_size_shape.size())); return inputs; }predict_mask函数实现cv::Mat Sam::predict_mask(const std::vectorSamPoint points, const SamBbox bbox, float* iou_pred) { if (image_embedding_.empty()) { std::cerr Error: Please encode an image first! std::endl; return cv::Mat(); } // 准备解码器输入 auto decoder_inputs prepare_decoder_inputs(points, bbox, cv::Size(original_image_width_, original_image_height_)); // 运行解码器推理 auto decoder_outputs decoder_session_-Run( Ort::RunOptions{nullptr}, decoder_input_names_.data(), decoder_inputs.data(), decoder_inputs.size(), decoder_output_names_.data(), decoder_output_names_.size() ); // 解码器通常输出多个掩码和对应的IoU分数 // 假设第一个输出是掩码第二个是iou分数 auto masks_tensor decoder_outputs[0]; // shape: [num_masks, 1, 256, 256] auto iou_tensor decoder_outputs[1]; // shape: [num_masks, 1] float* masks_data masks_tensor.GetTensorMutableDatafloat(); float* iou_data iou_tensor.GetTensorMutableDatafloat(); auto masks_shape masks_tensor.GetTensorTypeAndShapeInfo().GetShape(); int num_masks masks_shape[0]; int mask_h masks_shape[2]; int mask_w masks_shape[3]; // 选择分数最高的掩码 int best_mask_idx 0; float best_iou iou_data[0]; for (int i 1; i num_masks; i) { if (iou_data[i] best_iou) { best_iou iou_data[i]; best_mask_idx i; } } if (iou_pred) { *iou_pred best_iou; } // 提取最佳掩码数据 cv::Mat low_res_mask(mask_h, mask_w, CV_32FC1); size_t mask_offset best_mask_idx * mask_h * mask_w; memcpy(low_res_mask.data, masks_data mask_offset, mask_h * mask_w * sizeof(float)); return low_res_mask; // 返回低分辨率掩码需要后处理上采样 }4.4 后处理与掩码上采样解码器输出的是256x256的低分辨率掩码概率图我们需要将其上采样到原始图像尺寸并二值化。postprocess.cpp实现#include postprocess.h #include opencv2/opencv.hpp cv::Mat Postprocessor::process_mask(const cv::Mat low_res_mask, const cv::Size target_size, int pad_top, int pad_left, float mask_threshold) { // 1. 上采样到模型输入尺寸 (1024x1024) cv::Mat mask_1024; cv::resize(low_res_mask, mask_1024, cv::Size(1024, 1024), 0, 0, cv::INTER_LINEAR); // 2. 裁剪掉填充区域恢复原始图像在正方形中的区域 int orig_h_in_square target_size.height; int orig_w_in_square target_size.width; // 注意原始图像在填充后的正方形中的位置是 (pad_left, pad_top) cv::Rect roi(pad_left, pad_top, orig_w_in_square, orig_h_in_square); cv::Mat mask_cropped mask_1024(roi).clone(); // 必须clone因为roi是引用 // 3. 将掩码上采样到原始图像精确尺寸 cv::Mat mask_original_size; cv::resize(mask_cropped, mask_original_size, target_size, 0, 0, cv::INTER_LINEAR); // 4. 应用阈值生成二值掩码 cv::Mat binary_mask; cv::threshold(mask_original_size, binary_mask, mask_threshold, 255, cv::THRESH_BINARY); binary_mask.convertTo(binary_mask, CV_8UC1); // 转换为8位单通道图 return binary_mask; }至此我们已经拥有了一个完整的、功能独立的C SAM推理模块。主程序main.cpp可以非常简洁地调用它。5. 完整示例与性能调优让我们写一个简单的示例程序看看如何串联起所有模块。main.cpp示例#include sam.h #include iostream int main() { // 1. 初始化SAM指定模型路径 std::string encoder_path ../models/sam_vit_b_encoder.onnx; std::string decoder_path ../models/sam_vit_b_decoder.onnx; Sam sam(encoder_path, decoder_path, false); // 使用CPU // 2. 加载图像 cv::Mat image cv::imread(../test_image.jpg); if (image.empty()) { std::cerr Could not read the image. std::endl; return -1; } // 3. 编码图像耗时操作一次即可 std::cout Encoding image... std::endl; if (!sam.encode_image(image)) { return -1; } // 4. 定义提示点例如在图像中心点一个前景点 std::vectorSamPoint points {{image.cols / 2.0f, image.rows / 2.0f, 1}}; // 5. 预测掩码 std::cout Predicting mask... std::endl; float iou_score; cv::Mat mask sam.predict_mask(points, {}, iou_score); // 不传入bbox if (mask.empty()) { std::cerr Failed to predict mask. std::endl; return -1; } std::cout Prediction done. IoU score: iou_score std::endl; // 6. 可视化结果 cv::Mat colored_mask; cv::applyColorMap(mask * 255, colored_mask, cv::COLORMAP_JET); cv::Mat result; cv::addWeighted(image, 0.7, colored_mask, 0.3, 0, result); cv::imwrite(output_mask.png, mask); cv::imwrite(output_overlay.png, result); std::cout Results saved. std::endl; return 0; }5.1 性能优化技巧图像编码缓存这是最重要的优化。encode_image是计算瓶颈对于同一张图像的多次交互务必只调用一次缓存image_embedding_。会话复用Ort::Session对象创建成本高应作为类成员长期存在。输入输出内存复用对于高频调用如实时交互可以预分配输入输出Ort::Value的内存避免每次推理都重新分配。使用GPU如果部署环境有NVIDIA GPU在构造Sam对象时传入use_gputrue并确保正确安装了CUDA和cuDNN。推理速度会有数量级的提升。模型量化如果对速度有极致要求且能接受轻微精度损失可以考虑对ONNX模型进行动态量化或静态量化能有效减少模型体积和提升CPU推理速度。批处理虽然交互式场景通常是单次提示但如果你的应用场景需要批量处理多张图片或多组提示可以修改输入张量的batch维度进行批处理推理以提升吞吐。5.2 常见问题与排查模型加载失败检查路径确保ONNX模型文件路径绝对正确。检查模型兼容性确认导出的ONNX模型opset_version与ONNX Runtime兼容。尝试用netron工具打开模型查看输入输出名称和维度是否与代码中的input_names_和output_names_匹配。检查依赖如果使用GPU确认CUDA、cuDNN版本与ONNX Runtime编译时使用的版本兼容。推理结果不正确全黑或噪声预处理不一致这是最常见的原因。务必确保你的预处理缩放、填充、归一化、均值标准差与模型训练时完全一致。仔细核对SAM官方Python代码中的预处理步骤。坐标转换错误提示点从原始图像坐标到模型输入空间1024x1024的转换逻辑必须正确要考虑到填充padding的影响。一个像素的偏差都可能导致结果天差地别。输入张量顺序确认图像数据从HWC转为CHW后内存布局是正确的。可以使用调试工具打印一小块转换后的Tensor数据与Python预处理后的结果进行比对。内存泄漏ONNX Runtime的Ort::Value在离开作用域后会自动释放。但如果你手动分配了内存并创建了Tensor需要确保生命周期管理正确。优先使用CreateTensor接口让ORT管理内存。使用valgrind等工具进行内存检查。推理速度慢确认运行设备使用session_options_.GetExecutionProvider()检查是否真的在使用GPU。分析耗时用计时工具分别测量图像编码和提示解码的时间。编码是主要耗时点。调整线程数session_options_.SetIntraOpNumThreads()和SetInterOpNumThreads()可以调整并行度。尝试不同的Execution Provider在CPU上可以尝试使用OpenVINO后端如果使用Intel CPU或TensorRT后端如果使用NVIDIA GPU并已编译支持通常能获得比ORT默认CPU后端更好的性能。将Segment Anything这样的前沿模型部署到纯C环境确实需要跨越从Python原型到生产级C模块的鸿沟。这个过程涉及模型转换、引擎集成、前后处理对齐等一系列细致工作。但一旦完成你获得的将是一个高性能、低依赖、可轻松嵌入到现有C项目中的强大分割工具。希望这篇超过五千字的详细拆解能为你扫清障碍成功在本地C世界中驾驭SAM这匹“骏马”。如果在实践过程中遇到新的问题不妨回到预处理和坐标转换这两个最关键的环节仔细检查往往能迎刃而解。本文还有配套的精品资源点击获取 Segment Anything模型C++本地部署实战：从ONNX转换到推理优化
简介图像分割是计算机视觉的核心任务之一旨在将图像划分为具有特定意义的区域。其原理通常基于深度学习模型学习像素级语义特征实现精准的对象识别与轮廓提取。这项技术的价值在于为自动驾驶、医学影像分析、工业质检等场景提供关键的感知能力。随着Meta发布Segment Anything ModelSAM零样本通用分割成为可能但其官方实现依赖Python环境。对于工业视觉、嵌入式设备等对性能和部署有严苛要求的场景将SAM模型通过ONNX格式转换并进行C本地部署成为关键需求。本文聚焦于SAM模型的C工程化实践详细拆解了从PyTorch模型到ONNX格式的转换、利用ONNX Runtime搭建高效推理引擎、以及处理图像预处理与坐标映射等核心步骤为在纯C环境中集成前沿视觉模型提供了完整解决方案。1. 项目概述当Segment Anything遇上C本地部署最近在图像分割的圈子里Meta的Segment Anything ModelSAM绝对是绕不开的话题。这个模型以其“万物皆可分割”的零样本能力刷新了大家对通用分割模型的认知。官方提供了基于Python的演示和接口对于快速原型验证和云端服务来说非常方便。但作为一名长期深耕C环境尤其关注工业视觉、嵌入式设备或对运行时性能、内存占用有严苛要求的开发者你可能会和我有一样的想法能不能把这套强大的能力用C在本地“驯服”让它脱离Python的依赖真正集成到我们的C项目流水线里这个想法背后是实打实的工程需求。想象一下你需要在一台没有Python环境的工业工控机上实时处理产线图像或者你的核心业务系统全部由C构建引入Python不仅会增加部署复杂度还可能带来性能瓶颈和依赖管理的噩梦。再者对于追求极致推理速度的场景比如自动驾驶的感知模块或移动端应用用C直接调用经过优化的推理引擎往往是更可靠的选择。因此将SAM模型进行C本地部署不仅仅是一个技术挑战更是打通从前沿算法研究到实际生产落地“最后一公里”的关键一步。本文将基于我近期将一个中等尺寸的SAM模型如vit_b成功部署到纯C环境中的实践经验为你拆解整个流程。我们会从模型转换与准备开始一步步搭建推理环境实现前处理与后处理逻辑并最终封装成一个简洁易用的C接口。过程中遇到的坑和性能调优的技巧我也会毫无保留地分享出来。无论你是想将SAM集成到现有的C视觉系统中还是单纯对模型部署技术感兴趣相信这篇长文都能给你带来直接的参考价值。2. 核心思路与方案选型在开始动手之前我们必须明确目标我们要的不是一个能“跑起来”的Demo而是一个高效、稳定、易于集成的C推理模块。这意味着我们需要在模型格式、推理后端、前后处理等多个环节做出合适的选择。2.1 模型格式转换从PyTorch到ONNXSAM的官方实现基于PyTorch。在C生态中直接加载.pth文件是极其困难且不推荐的。因此模型转换是第一步。主流的中间格式有ONNX和TorchScript。为什么选择ONNXONNXOpen Neural Network Exchange已经成为深度学习模型交换的事实标准它拥有更广泛的运行时支持如ONNX Runtime, TensorRT, OpenVINO等。SAM模型中包含一些动态操作如基于输入点生成位置编码ONNX对动态形状的支持相对更成熟和稳定。相比之下TorchScript与PyTorch绑定更紧在跨平台和不同后端推理引擎上的灵活性稍逊一筹。转换中的关键点SAM的推理包含两个核心部分图像编码器和提示解码器。图像编码器Vision Transformer通常一次性处理整张图像生成图像嵌入。这个部分输入输出形状固定转换相对简单。难点在于提示解码器它需要接受多种灵活的提示点、框、掩码作为输入。在转换时我们需要仔细定义输入的动态维度如提示点的数量num_points并确保所有控制流如if-else都能被ONNX正确导出。官方仓库通常提供了导出ONNX模型的脚本但可能需要根据你的C后端需求进行微调。注意转换时务必指定opset_version例如14或更高以确保算子兼容性。同时开启动态轴设置例如对于点提示的坐标输入将其维度设置为[batch, num_points, 2]其中num_points是动态的。2.2 推理后端选择平衡易用性与性能得到ONNX模型后我们需要一个C推理引擎来加载并执行它。常见的选择有ONNX Runtime (ORT)微软开源跨平台支持最好Windows, Linux, macOS ARM等API简洁对ONNX标准支持最全面。它提供了CPU、CUDA、TensorRT等多种Execution Provider可以灵活切换。对于追求快速验证和部署便捷性的项目ORT通常是首选。TensorRTNVIDIA的官方高性能推理SDK在NVIDIA GPU上能提供极致的推理速度。但它需要将ONNX模型进一步编译成TensorRT的专属引擎.engine文件这个过程可能遇到不支持的算子需要自定义插件门槛较高。OpenVINO英特尔的开源工具套件针对Intel CPU、集成显卡和独立显卡做了深度优化。如果你的部署环境是Intel x86架构的CPUOpenVINO通常能提供比ORT CPU后端更好的性能。LibTorch (C Frontend)理论上可以直接加载TorchScript模型避免了ONNX转换。但这样会将整个PyTorch运行时引入体积庞大且可能遇到移动端兼容性问题与“轻量本地部署”的初衷有些背离。我的选择与理由对于大多数通用场景我推荐从ONNX Runtime开始。理由如下它的C API稳定文档清晰社区活跃。我们可以先使用CPU或CUDA Provider让整个流程跑通后续如果需要极致GPU性能可以较为平滑地迁移到TensorRTORT本身可以集成TensorRT作为Provider。本文的后续实操也将基于ONNX Runtime C API进行。2.3 项目结构设计一个清晰的工程结构能事半功倍。我建议的目录结构如下sam_cpp_deploy/ ├── CMakeLists.txt ├── models/ │ ├── sam_image_encoder.onnx │ ├── sam_prompt_decoder.onnx │ └── sam_mask_decoder.onnx # 有时编码解码会分开 ├── src/ │ ├── sam.cpp │ ├── sam.h │ ├── preprocess.cpp │ ├── preprocess.h │ ├── postprocess.cpp │ ├── postprocess.h │ └── main.cpp # 示例使用代码 ├── third_party/ # 存放ONNX Runtime等库 ├── build/ └── README.md核心模块包括sam.h/cpp主类负责加载模型、管理推理会话、协调前处理与后处理。preprocess.h/cpp图像预处理包括缩放、归一化、转换为Tensor等。postprocess.h/cpp后处理将模型输出的低分辨率掩码上采样并应用阈值得到二值图。3. 环境搭建与依赖配置“工欲善其事必先利其器”。一个可靠的C开发环境是基础。这里我以Linux系统Ubuntu 20.04/22.04和VSCode为例Windows和macOS在具体路径和包管理上略有不同但核心步骤相似。3.1 基础开发环境准备首先确保你的系统有基本的编译工具和CMakesudo apt update sudo apt install build-essential cmake git wget unzip如果你使用VSCode建议安装C/C扩展ms-vscode.cpptools和CMake Tools扩展它们能极大提升开发体验。3.2 获取并编译ONNX Runtime我们不直接使用系统包管理器安装而是从GitHub下载源码编译这样可以获得C共享库并灵活选择需要的Provider。下载源码git clone --recursive https://github.com/microsoft/onnxruntime.git cd onnxruntime # 选择一个稳定版本分支例如 git checkout v1.16.3编译配置我们编译一个精简版本包含CPU和CUDA如果你有NVIDIA GPU支持。./build.sh --config Release --build_shared_lib --parallel 8 --skip_tests \ --use_cuda --cuda_home /usr/local/cuda-11.8 \ # 根据你的CUDA路径修改 --cudnn_home /usr/lib/x86_64-linux-gnu \ # 根据你的cuDNN路径修改 --cmake_extra_defines CMAKE_INSTALL_PREFIX/path/to/your/install--build_shared_lib生成动态链接库.so便于分发。--use_cuda启用CUDA支持。如果仅用CPU则去掉此参数和后面的CUDA路径。CMAKE_INSTALL_PREFIX指定安装目录例如/home/user/libs/onnxruntime。编译与安装cd build/Linux/Release make -j8 make install编译完成后在安装目录下你会找到关键的include/和lib/文件夹。3.3 项目CMake配置在你的项目根目录CMakeLists.txt中需要正确链接ONNX Runtime。cmake_minimum_required(VERSION 3.16) project(SAM_CPP_Deploy) set(CMAKE_CXX_STANDARD 17) # 查找OpenCV用于图像读写和预处理 find_package(OpenCV REQUIRED) # 设置ONNX Runtime路径假设你将其安装在 /home/user/libs/onnxruntime set(ONNXRUNTIME_ROOT /home/user/libs/onnxruntime) set(ONNXRUNTIME_INCLUDE_DIR ${ONNXRUNTIME_ROOT}/include) set(ONNXRUNTIME_LIBRARY ${ONNXRUNTIME_ROOT}/lib/libonnxruntime.so) # 添加头文件目录 include_directories(${OpenCV_INCLUDE_DIRS} ${ONNXRUNTIME_INCLUDE_DIR}) # 添加可执行文件 add_executable(sam_demo src/main.cpp src/sam.cpp src/preprocess.cpp src/postprocess.cpp) # 链接库 target_link_libraries(sam_demo ${OpenCV_LIBS} ${ONNXRUNTIME_LIBRARY}) # 在构建后将ONNX Runtime的共享库复制到可执行文件旁方便运行 add_custom_command(TARGET sam_demo POST_BUILD COMMAND ${CMAKE_COMMAND} -E copy ${ONNXRUNTIME_LIBRARY} $TARGET_FILE_DIR:sam_demo )这个配置告诉CMake去找到OpenCV和ONNX Runtime并将它们链接到你的程序中。4. 核心模块实现详解环境就绪现在进入核心编码阶段。我们将按照推理流程逐一实现各个模块。4.1 图像预处理模块SAM的图像编码器要求输入图像被归一化并调整到固定尺寸如1024x1024。预处理模块需要完成读取图像、缩放、归一化、HWC转CHW、并最终转换为ONNX Runtime所需的Ort::Value对象。preprocess.h头文件定义#ifndef PREPROCESS_H #define PREPROCESS_H #include opencv2/opencv.hpp #include onnxruntime_cxx_api.h #include vector class Preprocessor { public: Preprocessor(int target_size 1024); // 核心预处理函数输入OpenCV Mat输出准备好输入图像编码器的Tensor向量 std::vectorOrt::Value process_image(const cv::Mat image); private: int target_size_; // 均值与标准差 (根据SAM训练配置通常是ImageNet的均值和标准差) const std::vectorfloat mean_ {0.485f, 0.456f, 0.406f}; const std::vectorfloat std_ {0.229f, 0.224f, 0.225f}; cv::Mat pad_to_square(const cv::Mat image, int pad_top, int pad_left); }; #endif // PREPROCESS_Hpreprocess.cpp关键实现#include preprocess.h #include iostream Preprocessor::Preprocessor(int target_size) : target_size_(target_size) {} std::vectorOrt::Value Preprocessor::process_image(const cv::Mat image) { cv::Mat image_rgb; // 1. BGR转RGB cv::cvtColor(image, image_rgb, cv::COLOR_BGR2RGB); // 2. 缩放并保持长宽比填充到正方形 int pad_top 0, pad_left 0; cv::Mat padded pad_to_square(image_rgb, pad_top, pad_left); cv::Mat resized; cv::resize(padded, resized, cv::Size(target_size_, target_size_)); // 3. 转换为float并归一化到[0,1] cv::Mat float_img; resized.convertTo(float_img, CV_32FC3, 1.0 / 255.0); // 4. 应用标准化 (减去均值除以标准差) std::vectorcv::Mat channels(3); cv::split(float_img, channels); for (int i 0; i 3; i) { channels[i] (channels[i] - mean_[i]) / std_[i]; } cv::merge(channels, float_img); // 5. HWC - CHW cv::Mat chw_img; cv::dnn::blobFromImage(float_img, chw_img); // 这个函数直接输出CHW格式的1x3xHxW Mat // 6. 创建Ort::Value std::vectorint64_t input_shape {1, 3, target_size_, target_size_}; size_t input_tensor_size target_size_ * target_size_ * 3; auto memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); std::vectorOrt::Value input_tensors; input_tensors.push_back(Ort::Value::CreateTensorfloat( memory_info, (float*)chw_img.data, input_tensor_size, input_shape.data(), input_shape.size() )); // 保存填充信息后续后处理可能需要 // 可以将其作为类成员或通过其他方式传递给后续步骤 // this-pad_info_ {pad_top, pad_left, image_rgb.rows, image_rgb.cols}; return input_tensors; } cv::Mat Preprocessor::pad_to_square(const cv::Mat image, int pad_top, int pad_left) { int h image.rows; int w image.cols; int max_dim std::max(h, w); cv::Mat padded cv::Mat::zeros(max_dim, max_dim, image.type()); pad_top (max_dim - h) / 2; pad_left (max_dim - w) / 2; image.copyTo(padded(cv::Rect(pad_left, pad_top, w, h))); return padded; }实操心得OpenCV的cv::dnn::blobFromImage函数在预处理中非常方便它一次性完成了归一化、缩放和HWC转CHW。但要注意SAM的标准化参数是固定的如果blobFromImage自带的缩放和均值参数不符合就需要像上面一样手动分步处理。填充padding步骤至关重要它保证了图像不变形但需要记录填充位置以便在后处理中将掩码映射回原始图像坐标。4.2 SAM模型封装类这是整个项目的核心负责管理ONNX Runtime会话Session协调图像编码和提示解码。sam.h头文件定义#ifndef SAM_H #define SAM_H #include onnxruntime_cxx_api.h #include opencv2/opencv.hpp #include vector #include memory struct SamPoint { float x, y; // 坐标 (相对于原始图像) int label; // 1: 前景点, 0: 背景点 }; struct SamBbox { float x1, y1, x2, y2; // 左上角和右下角坐标 }; class Sam { public: Sam(const std::string encoder_model_path, const std::string decoder_model_path, bool use_gpu false); ~Sam(); // 编码图像生成图像嵌入image embedding。通常只需执行一次。 bool encode_image(const cv::Mat image); // 根据提示点、框进行解码生成掩码 cv::Mat predict_mask(const std::vectorSamPoint points, const SamBbox bbox {0,0,0,0}, // 可选框 float* iou_pred nullptr); // 可选输出置信度 private: Ort::Env env_; Ort::SessionOptions session_options_; std::unique_ptrOrt::Session encoder_session_; std::unique_ptrOrt::Session decoder_session_; // 图像嵌入缓存避免对同一图像重复编码 std::vectorfloat image_embedding_; int original_image_height_; int original_image_width_; int pad_top_; int pad_left_; int embedding_size_; // 嵌入向量的空间尺寸如64x64 // 会话相关的输入输出名 std::vectorconst char* encoder_input_names_; std::vectorconst char* encoder_output_names_; std::vectorconst char* decoder_input_names_; std::vectorconst char* decoder_output_names_; // 内部辅助函数 std::vectorOrt::Value prepare_decoder_inputs( const std::vectorSamPoint points, const SamBbox bbox, const cv::Size original_size); }; #endif // SAM_Hsam.cpp部分关键实现构造函数与编码#include sam.h #include preprocess.h #include iostream Sam::Sam(const std::string encoder_model_path, const std::string decoder_model_path, bool use_gpu) { // 1. 初始化ONNX Runtime环境 env_ Ort::Env(ORT_LOGGING_LEVEL_WARNING, SAM_CPP); // 2. 配置会话选项 session_options_.SetIntraOpNumThreads(4); // 设置并行线程数 session_options_.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL); if (use_gpu) { OrtCUDAProviderOptions cuda_options; cuda_options.device_id 0; session_options_.AppendExecutionProvider_CUDA(cuda_options); std::cout Using CUDA provider. std::endl; } // 3. 加载编码器和解码器模型 try { encoder_session_ std::make_uniqueOrt::Session(env_, encoder_model_path.c_str(), session_options_); decoder_session_ std::make_uniqueOrt::Session(env_, decoder_model_path.c_str(), session_options_); } catch (const Ort::Exception e) { std::cerr Failed to load model: e.what() std::endl; throw; } // 4. 获取输入输出层名称 (ONNX模型导出时确定) Ort::AllocatorWithDefaultOptions allocator; auto get_names [allocator](Ort::Session session) - std::vectorconst char* { size_t num_inputs session.GetInputCount(); std::vectorconst char* names(num_inputs); for (size_t i 0; i num_inputs; i) { names[i] session.GetInputName(i, allocator); } return names; }; encoder_input_names_ get_names(*encoder_session_); // ... 同样获取输出名称和解码器输入输出名称此处省略详细代码 // 通常编码器输入名为 input_image, 输出为 image_embedding // 解码器输入可能包括 image_embedding, point_coords, point_labels, mask_input, has_mask, orig_im_size等 } bool Sam::encode_image(const cv::Mat image) { original_image_height_ image.rows; original_image_width_ image.cols; Preprocessor preprocessor(1024); // SAM默认输入尺寸 auto input_tensors preprocessor.process_image(image); // 从preprocessor获取填充信息需要稍作修改Preprocessor以返回这些信息 // this-pad_top_ ...; // this-pad_left_ ...; // 运行编码器推理 auto output_tensors encoder_session_-Run( Ort::RunOptions{nullptr}, encoder_input_names_.data(), input_tensors.data(), input_tensors.size(), encoder_output_names_.data(), encoder_output_names_.size() ); // 获取图像嵌入并缓存 auto embedding_tensor output_tensors[0]; float* embedding_data embedding_tensor.GetTensorMutableDatafloat(); auto shape embedding_tensor.GetTensorTypeAndShapeInfo().GetShape(); // shape 可能为 [1, 256, 64, 64] embedding_size_ shape[2]; // 假设为64 size_t total_elements shape[1] * shape[2] * shape[3]; image_embedding_.assign(embedding_data, embedding_data total_elements); std::cout Image encoded. Embedding shape: shape[0] , shape[1] , shape[2] , shape[3] std::endl; return true; }这个类封装了模型加载和图像编码。encode_image方法将原始图像处理成图像嵌入这是一个计算量相对较大的步骤但通常对一张图只需执行一次。4.3 提示准备与解码推理解码器需要接收用户交互提示。这是最复杂的一步因为需要将坐标点、标签等组织成模型期望的格式。sam.cpp中的解码器输入准备函数std::vectorOrt::Value Sam::prepare_decoder_inputs( const std::vectorSamPoint points, const SamBbox bbox, const cv::Size original_size) { std::vectorOrt::Value inputs; // 1. 图像嵌入 (已缓存) std::vectorint64_t embedding_shape {1, 256, embedding_size_, embedding_size_}; auto memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); inputs.push_back(Ort::Value::CreateTensorfloat( memory_info, image_embedding_.data(), image_embedding_.size(), embedding_shape.data(), embedding_shape.size() )); // 2. 点坐标和标签 (需要归一化到1024x1024的输入空间并考虑填充) size_t num_points points.size(); std::vectorfloat point_coords; std::vectorfloat point_labels; for (const auto pt : points) { // 将原始图像坐标转换到填充后正方形的坐标 float x_in_square pt.x pad_left_; float y_in_square pt.y pad_top_; // 再归一化到模型输入空间 [0, 1024] float x_norm x_in_square / (float)std::max(original_size.height, original_size.width) * 1024.0f; float y_norm y_in_square / (float)std::max(original_size.height, original_size.width) * 1024.0f; point_coords.push_back(x_norm); point_coords.push_back(y_norm); point_labels.push_back(static_castfloat(pt.label)); } // 如果提供了边界框也需要类似处理并添加到坐标和标签中 // SAM要求框用两个点表示左上和右下标签为2和3 if (bbox.x2 bbox.x1 bbox.y2 bbox.y1) { // ... 处理框坐标 ... num_points 2; // 框贡献两个点 } // 输入形状: [batch, num_points, 2] 和 [batch, num_points] std::vectorint64_t coords_shape {1, static_castint64_t(num_points), 2}; std::vectorint64_t labels_shape {1, static_castint64_t(num_points)}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, point_coords.data(), point_coords.size(), coords_shape.data(), coords_shape.size())); inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, point_labels.data(), point_labels.size(), labels_shape.data(), labels_shape.size())); // 3. 掩码输入 (初始化为零) 和 has_mask 标志 std::vectorfloat mask_input(256 * 256, 0.0f); // 低分辨率掩码输入 std::vectorint64_t mask_shape {1, 1, 256, 256}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, mask_input.data(), mask_input.size(), mask_shape.data(), mask_shape.size())); std::vectorfloat has_mask {0.0f}; // 0 表示没有先验掩码输入 std::vectorint64_t has_mask_shape {1}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, has_mask.data(), has_mask.size(), has_mask_shape.data(), has_mask_shape.size())); // 4. 原始图像尺寸 (填充前的尺寸) std::vectorfloat orig_im_size {static_castfloat(original_size.height), static_castfloat(original_size.width)}; std::vectorint64_t orig_size_shape {2}; inputs.push_back(Ort::Value::CreateTensorfloat(memory_info, orig_im_size.data(), orig_im_size.size(), orig_size_shape.data(), orig_size_shape.size())); return inputs; }predict_mask函数实现cv::Mat Sam::predict_mask(const std::vectorSamPoint points, const SamBbox bbox, float* iou_pred) { if (image_embedding_.empty()) { std::cerr Error: Please encode an image first! std::endl; return cv::Mat(); } // 准备解码器输入 auto decoder_inputs prepare_decoder_inputs(points, bbox, cv::Size(original_image_width_, original_image_height_)); // 运行解码器推理 auto decoder_outputs decoder_session_-Run( Ort::RunOptions{nullptr}, decoder_input_names_.data(), decoder_inputs.data(), decoder_inputs.size(), decoder_output_names_.data(), decoder_output_names_.size() ); // 解码器通常输出多个掩码和对应的IoU分数 // 假设第一个输出是掩码第二个是iou分数 auto masks_tensor decoder_outputs[0]; // shape: [num_masks, 1, 256, 256] auto iou_tensor decoder_outputs[1]; // shape: [num_masks, 1] float* masks_data masks_tensor.GetTensorMutableDatafloat(); float* iou_data iou_tensor.GetTensorMutableDatafloat(); auto masks_shape masks_tensor.GetTensorTypeAndShapeInfo().GetShape(); int num_masks masks_shape[0]; int mask_h masks_shape[2]; int mask_w masks_shape[3]; // 选择分数最高的掩码 int best_mask_idx 0; float best_iou iou_data[0]; for (int i 1; i num_masks; i) { if (iou_data[i] best_iou) { best_iou iou_data[i]; best_mask_idx i; } } if (iou_pred) { *iou_pred best_iou; } // 提取最佳掩码数据 cv::Mat low_res_mask(mask_h, mask_w, CV_32FC1); size_t mask_offset best_mask_idx * mask_h * mask_w; memcpy(low_res_mask.data, masks_data mask_offset, mask_h * mask_w * sizeof(float)); return low_res_mask; // 返回低分辨率掩码需要后处理上采样 }4.4 后处理与掩码上采样解码器输出的是256x256的低分辨率掩码概率图我们需要将其上采样到原始图像尺寸并二值化。postprocess.cpp实现#include postprocess.h #include opencv2/opencv.hpp cv::Mat Postprocessor::process_mask(const cv::Mat low_res_mask, const cv::Size target_size, int pad_top, int pad_left, float mask_threshold) { // 1. 上采样到模型输入尺寸 (1024x1024) cv::Mat mask_1024; cv::resize(low_res_mask, mask_1024, cv::Size(1024, 1024), 0, 0, cv::INTER_LINEAR); // 2. 裁剪掉填充区域恢复原始图像在正方形中的区域 int orig_h_in_square target_size.height; int orig_w_in_square target_size.width; // 注意原始图像在填充后的正方形中的位置是 (pad_left, pad_top) cv::Rect roi(pad_left, pad_top, orig_w_in_square, orig_h_in_square); cv::Mat mask_cropped mask_1024(roi).clone(); // 必须clone因为roi是引用 // 3. 将掩码上采样到原始图像精确尺寸 cv::Mat mask_original_size; cv::resize(mask_cropped, mask_original_size, target_size, 0, 0, cv::INTER_LINEAR); // 4. 应用阈值生成二值掩码 cv::Mat binary_mask; cv::threshold(mask_original_size, binary_mask, mask_threshold, 255, cv::THRESH_BINARY); binary_mask.convertTo(binary_mask, CV_8UC1); // 转换为8位单通道图 return binary_mask; }至此我们已经拥有了一个完整的、功能独立的C SAM推理模块。主程序main.cpp可以非常简洁地调用它。5. 完整示例与性能调优让我们写一个简单的示例程序看看如何串联起所有模块。main.cpp示例#include sam.h #include iostream int main() { // 1. 初始化SAM指定模型路径 std::string encoder_path ../models/sam_vit_b_encoder.onnx; std::string decoder_path ../models/sam_vit_b_decoder.onnx; Sam sam(encoder_path, decoder_path, false); // 使用CPU // 2. 加载图像 cv::Mat image cv::imread(../test_image.jpg); if (image.empty()) { std::cerr Could not read the image. std::endl; return -1; } // 3. 编码图像耗时操作一次即可 std::cout Encoding image... std::endl; if (!sam.encode_image(image)) { return -1; } // 4. 定义提示点例如在图像中心点一个前景点 std::vectorSamPoint points {{image.cols / 2.0f, image.rows / 2.0f, 1}}; // 5. 预测掩码 std::cout Predicting mask... std::endl; float iou_score; cv::Mat mask sam.predict_mask(points, {}, iou_score); // 不传入bbox if (mask.empty()) { std::cerr Failed to predict mask. std::endl; return -1; } std::cout Prediction done. IoU score: iou_score std::endl; // 6. 可视化结果 cv::Mat colored_mask; cv::applyColorMap(mask * 255, colored_mask, cv::COLORMAP_JET); cv::Mat result; cv::addWeighted(image, 0.7, colored_mask, 0.3, 0, result); cv::imwrite(output_mask.png, mask); cv::imwrite(output_overlay.png, result); std::cout Results saved. std::endl; return 0; }5.1 性能优化技巧图像编码缓存这是最重要的优化。encode_image是计算瓶颈对于同一张图像的多次交互务必只调用一次缓存image_embedding_。会话复用Ort::Session对象创建成本高应作为类成员长期存在。输入输出内存复用对于高频调用如实时交互可以预分配输入输出Ort::Value的内存避免每次推理都重新分配。使用GPU如果部署环境有NVIDIA GPU在构造Sam对象时传入use_gputrue并确保正确安装了CUDA和cuDNN。推理速度会有数量级的提升。模型量化如果对速度有极致要求且能接受轻微精度损失可以考虑对ONNX模型进行动态量化或静态量化能有效减少模型体积和提升CPU推理速度。批处理虽然交互式场景通常是单次提示但如果你的应用场景需要批量处理多张图片或多组提示可以修改输入张量的batch维度进行批处理推理以提升吞吐。5.2 常见问题与排查模型加载失败检查路径确保ONNX模型文件路径绝对正确。检查模型兼容性确认导出的ONNX模型opset_version与ONNX Runtime兼容。尝试用netron工具打开模型查看输入输出名称和维度是否与代码中的input_names_和output_names_匹配。检查依赖如果使用GPU确认CUDA、cuDNN版本与ONNX Runtime编译时使用的版本兼容。推理结果不正确全黑或噪声预处理不一致这是最常见的原因。务必确保你的预处理缩放、填充、归一化、均值标准差与模型训练时完全一致。仔细核对SAM官方Python代码中的预处理步骤。坐标转换错误提示点从原始图像坐标到模型输入空间1024x1024的转换逻辑必须正确要考虑到填充padding的影响。一个像素的偏差都可能导致结果天差地别。输入张量顺序确认图像数据从HWC转为CHW后内存布局是正确的。可以使用调试工具打印一小块转换后的Tensor数据与Python预处理后的结果进行比对。内存泄漏ONNX Runtime的Ort::Value在离开作用域后会自动释放。但如果你手动分配了内存并创建了Tensor需要确保生命周期管理正确。优先使用CreateTensor接口让ORT管理内存。使用valgrind等工具进行内存检查。推理速度慢确认运行设备使用session_options_.GetExecutionProvider()检查是否真的在使用GPU。分析耗时用计时工具分别测量图像编码和提示解码的时间。编码是主要耗时点。调整线程数session_options_.SetIntraOpNumThreads()和SetInterOpNumThreads()可以调整并行度。尝试不同的Execution Provider在CPU上可以尝试使用OpenVINO后端如果使用Intel CPU或TensorRT后端如果使用NVIDIA GPU并已编译支持通常能获得比ORT默认CPU后端更好的性能。将Segment Anything这样的前沿模型部署到纯C环境确实需要跨越从Python原型到生产级C模块的鸿沟。这个过程涉及模型转换、引擎集成、前后处理对齐等一系列细致工作。但一旦完成你获得的将是一个高性能、低依赖、可轻松嵌入到现有C项目中的强大分割工具。希望这篇超过五千字的详细拆解能为你扫清障碍成功在本地C世界中驾驭SAM这匹“骏马”。如果在实践过程中遇到新的问题不妨回到预处理和坐标转换这两个最关键的环节仔细检查往往能迎刃而解。本文还有配套的精品资源点击获取