行业资讯
[具身智能-616]：相机图像传感器、相机ISP、RDK X5的推理单元、openCV底层库，GPU，他们在图像处理中各自的输入和输出格式？
![[具身智能-616]：相机图像传感器、相机ISP、RDK X5的推理单元、openCV底层库，GPU，他们在图像处理中各自的输入和输出格式？](http://pic.xiahunao.cn/yaotu/[具身智能-616]：相机图像传感器、相机ISP、RDK X5的推理单元、openCV底层库，GPU，他们在图像处理中各自的输入和输出格式？)
重要前提 1传输格式 ≠ 内存格式MIPI CSI 链路只是传输通道下面写的是模块接口能识别的有效像素数据格式2RAW Bayer 无法直接进 BPU / OpenCV / GPU必须先经过 ISP Debayer 3RDK X5 BPU 最优输入NV12不接受 RAW1. 图像传感器 SensorIMX 等本质光电转换器件只输出原始采样数据✅ 支持输入无接收光线✅ 原生输出格式MIPI CSI-2 数据流RAW8、RAW10、RAW12、RAW14Bayer RGGB/BGGR/GRBG/GBRG不产生 YUV/RGB不存在 NV12、YUYV。数据流边界Sensor 输出 RAW → 送入硬件 ISP2. RDK X5 硬件 ISP板载硬件成像流水线输入只能是 Sensor Bayer RAW输入RAW8 / RAW10 / RAW12 Bayer输出内存图像格式可选配置NV12YUV420 Semi-Planar工程最常用BPU 直连首选YUYV / UYVYYUV422 InterleavedRGB888 / BGR888占用带宽高尽量少用部分模式可输出 YV12❌ ISP不会输出 RAWRAW 进来Debayer 之后只能输出彩色YUV/RGB关键工程习惯 ISP → NV12 直接送 BPU避免额外格式转换拷贝3. RDK X5 BPUAI 推理单元地平线自研 NPU⚠️BPU 不能接收 Bayer RAW支持输入格式模型推理输入NV12YUV420推荐最优支持硬件零拷贝YUYV(YUV422)RGB888 / BGR888注意很多量化模型基于 NV12 训练RGB 输入会多一层颜色空间转换开销BPU 输出格式不是图像是推理结果数据内存数组检测框坐标、置信度、类别 ID分割掩码数组float/uint8 二维数组特征向量BPU不输出图片帧输出只是结构化推理数据没有像素画面4. GPURDK X5 内置 GPU用于并行运算、渲染、格式转换GPU 操作对象内存中已经解拜耳完成的彩色图像支持输入格式NV12、YUYV、RGB888、BGR888输出格式NV12、YUYV、RGB888、BGR888典型用途YUV↔RGB、缩放、旋转、仿射变换、画面图层叠加渲染GPU不能直接处理 Sensor RAWRAW 必须先过 ISP5. OpenCV 底层库默认 CPU 运行可 OpenCL 卸载到 GPUOpenCV 核心容器cv::Mat原生支持输入格式Mat 承载BGR8最通用imread/imshow 默认RGB8GRAY8单通道灰度图可解析 YUYV原生不直接支持 NV12NV12 在 OpenCV 里需要手动拆分 Y 平面、UV 平面再构造 Mat无原生封装容易出错❌ OpenCV 限制不原生支持 Bayer RAW 实时流处理有 cvtColor COLOR_Bayer 转换但纯 CPU性能极差工程禁止实时场景使用OpenCV 输出格式仍然是cv::MatBGR/RGB/GRAY也可转换生成 YUYVOpenCV 不能直接识别 ISP 输出的 NV12 帧做常规处理一般两条路线方案 AISP 输出 BGR 给 OpenCV带宽高方案 BISP 输出 NV12 → GPU 硬件转BGR→ 送入 OpenCV推荐汇总简表一目了然表格模块合法输入格式输出格式备注图像 Sensor光信号RAW8/RAW10/RAW12Bayer无彩色图像仅原始像素采样RDK 硬件 ISPBayer RAW8/10/12NV12、YUYV、RGB888/BGR888唯一能处理 RAW 的硬件模块BPU 推理单元NV12、YUYV、RGB/BGR888❌不支持 RAW推理结果框、掩码、特征向量不输出图像像素数据GPUNV12、YUYV、RGB/BGR888❌不支持 RAWNV12、YUYV、RGB/BGR888可编程并行图像变换、渲染OpenCV(cv::Mat)BGR、RGB、GRAY、YUYVNV12 需要手动解析RAW 不适合实时BGR/RGB/GRAY/YUYVcv::Mat默认 CPU 运算尽量减少大图实时转换【RDK X5 最优标准链路格式流向】plaintextSensor(RAW10) → ISP → NV12内存帧 ├─ 分支1NV12 零拷贝 → BPU推理AI目标检测 └─ 分支2NV12 → GPU硬件转BGR → OpenCV轮廓/形态学/后处理绘图高频踩坑提醒不要尝试把 RAW 直接丢给 OpenCV/GPU/BPU只能 ISP 消化 RAW不要 ISP 输出 BGR 送给 BPU优先 NV12节省带宽OpenCV imshow 只认 BGRNV12 无法直接显示BPU 只输出检测数据想要画框必须在 CPU/GPU/OpenCV 完成绘制。
郑州网站建设
网页设计
企业官网
