尧图网页设计 
MediaPipe 快速上手实时姿态估计与手部追踪实战指南【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipeMediaPipe 是 Google 开源的跨平台实时媒体处理框架其 MediaPipe 姿态估计能在普通硬件上毫秒级输出 33 个人体关键点配合手部追踪、人脸检测与自拍分割可直接用于视频会议、直播与 AR 场景。如果你想在产品里快速接入实时视觉能力而又不想从零理解图引擎的细节可以从这篇指南开始。MediaPipe 场景切入视频会议里的实时抠像与动作计数视频会议里背景实时虚化、健身直播间自动数出深蹲次数、AR 滤镜贴着人脸走——这些效果的共同点是对连续图像序列做毫秒级处理。自己搭检测链路要处理模型加载、帧率控制、结果平滑、跨平台部署工作量不小。MediaPipe 把自己定位成跨平台的、可定制的实时与流式媒体 ML 解决方案模型、跟踪器、平滑逻辑都封装成开箱即用的方案输入图像帧返回结构化关键点或检测框Android、iOS、C、Python 行为一致。MediaPipe 能力速览核心功能平台支持矩阵功能AndroidiOSCPythonJavaScript人脸检测✅✅✅✅✅人体姿态估计✅✅✅✅✅手部追踪✅✅✅✅✅自拍分割✅✅✅✅✅面部网格✅✅✅✅✅完整的 18 项能力矩阵见 docs/solutions/solutions.md。其中最常用的是姿态、手部、人脸检测与自拍分割它们都有现成的 TFLite 模型参数在 Python API 里直接可调且各平台入口一致从桌面调试切到移动端部署的成本很低。确认了能力清单最有说服力的还是把链路在本地跑起来。5分钟跑通MediaPipe 容器化快速上手 容器里预置了全部依赖环境不需要手动装 OpenCV 和 Bazelgit clone https://gitcode.com/GitHub_Trending/med/mediapipe cd mediapipe docker build --tagmediapipe . docker run -it --name mediapipe mediapipe # Hello World 图示例CPU 方式运行 GLOG_logtostderr1 bazel run --define MEDIAPIPE_DISABLE_GPU1 mediapipe/examples/desktop/hello_world只跑 Python 方案的话pip install mediapipe可跳过以上全部编译。本地编译的要点先装build-essential、git、python、zip、libopencv-core-dev等 apt 包再用 Bazelisk 管理 Bazel 版本无 GPU 的机器给所有 bazel 命令加--define MEDIAPIPE_DISABLE_GPU1。完整依赖清单见安装文档。链路通了接下来进入两个最高频的场景入口故意不同一个喂图片、一个喂视频。MediaPipe 姿态估计与手部追踪两个高频场景拆解MediaPipe 姿态估计从单张图片到 33 个关键点MediaPipe 姿态估计输出 33 个人体关键点含 3D 坐标还能同时输出身体分割掩码。最小 demo 用一张静态图输入可以看到完整的数据结构import cv2 import mediapipe as mp with mp.solutions.pose.Pose(model_complexity1, static_image_modeTrue) as pose: img cv2.cvtColor(cv2.imread(person.jpg), cv2.COLOR_BGR2RGB) result pose.process(img) for lm in result.pose_landmarks.landmark: cv2.circle(img, (int(lm.x * img.shape[1]), int(lm.y * img.shape[0])), 3, (0, 255, 0)) cv2.imshow(MediaPipe Pose, img) cv2.waitKey(0)model_complexity0 最快、2 最准、1 均衡按帧率需求选static_image_mode处理静态图时开启停用依赖历史帧的时序平滑smooth_landmarks结果时序平滑处理视频流时抑制抖动MediaPipe 手部追踪视频文件入口与跟踪参数手部追踪每只手检测 21 个关键点并跨帧保持手的身份是手势识别的地基。示例从本地视频文件读取按 ESC 退出import cv2 import mediapipe as mp mp_draw mp.solutions.drawing_utils cap cv2.VideoCapture(test.mp4) with mp.solutions.hands.Hands(max_num_hands2, min_detection_confidence0.5, min_tracking_confidence0.5) as hands: while cap.isOpened(): ok, frame cap.read() if not ok: break res hands.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) if res.multi_hand_landmarks: for lm in res.multi_hand_landmarks: mp_draw.draw_landmarks(frame, lm, mp.solutions.hands.HAND_CONNECTIONS) cv2.imshow(MediaPipe Hands, frame) if cv2.waitKey(5) 0xFF 27: breakmax_num_hands1-2需要双手操作时调大min_detection_confidence检测阈值低光照环境下调低min_tracking_confidence跟踪阈值低于它的手判定丢失并重新检测要落到 C直接看 mediapipe/examples/desktop/ 目录pose_tracking、hand_tracking 等子目录自带采集与渲染逻辑照 BUILD 文件跑即可。Demo 能跑之后接下来的问题通常是为什么慢、为什么抖。MediaPipe 调优与避坑模型复杂度、多帧架构、报错速查 ⚙️模型复杂度怎么选Pose 提供 0/1/2 三档0 延迟最低适合直播和低端设备2 精度最高适合离线处理Hands 是 0/1 两档1 在连续帧下更稳纯 CPU 机器记得用--define MEDIAPIPE_DISABLE_GPU1编译否则运行时会报 GPU 上下文初始化失败多帧处理架构摄像头采集与推理拆成两个线程用队列缓冲推理侧控帧率避免推理卡顿反压采集抖动优先用smooth_landmarks和跟踪阈值解决不要自己再叠一层低通滤波编译与运行报错速查环境依赖类报错逐条对照排障文档掉帧、延迟高用内置 tracing 能力定位耗时最高的 calculator分析方法见 docs/tools/ 下的性能分析章节GPU 初始化失败先换 CPU 路径验证链路再排查过期的 GL/EGL 上下文参数稳定后最后一步是挑一个能落地的形态。MediaPipe 落地方向与延伸动作计数与智能货架识别健身动作计数器姿态估计给出髋、膝、踝三个点逐帧算膝关节角度用降过 90° 再回到 160° 以上计一次的滞回阈值判定一次深蹲屏幕实时显示次数。一个 Python 脚本就能出可演示原型。智能货架识别物体检测的 ssdlite 模型逐帧输出类别与置信度配合 Box Tracking 对多个物体做稳定跟踪适合货架盘点、资产防盗提醒等场景。延伸资源自定义模型训练手势识别、目标检测等mediapipe/model_maker/图引擎与 Calculator 机制docs/framework_concepts/完整方案列表与模型卡docs/solutions/models.md从第一帧画面到第一个稳定关键点MediaPipe 已经把最重的部分做完了你的工作只是挑一个场景、把参数调对。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MediaPipe 快速上手：实时姿态估计与手部追踪实战指南
MediaPipe 快速上手实时姿态估计与手部追踪实战指南【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipeMediaPipe 是 Google 开源的跨平台实时媒体处理框架其 MediaPipe 姿态估计能在普通硬件上毫秒级输出 33 个人体关键点配合手部追踪、人脸检测与自拍分割可直接用于视频会议、直播与 AR 场景。如果你想在产品里快速接入实时视觉能力而又不想从零理解图引擎的细节可以从这篇指南开始。MediaPipe 场景切入视频会议里的实时抠像与动作计数视频会议里背景实时虚化、健身直播间自动数出深蹲次数、AR 滤镜贴着人脸走——这些效果的共同点是对连续图像序列做毫秒级处理。自己搭检测链路要处理模型加载、帧率控制、结果平滑、跨平台部署工作量不小。MediaPipe 把自己定位成跨平台的、可定制的实时与流式媒体 ML 解决方案模型、跟踪器、平滑逻辑都封装成开箱即用的方案输入图像帧返回结构化关键点或检测框Android、iOS、C、Python 行为一致。MediaPipe 能力速览核心功能平台支持矩阵功能AndroidiOSCPythonJavaScript人脸检测✅✅✅✅✅人体姿态估计✅✅✅✅✅手部追踪✅✅✅✅✅自拍分割✅✅✅✅✅面部网格✅✅✅✅✅完整的 18 项能力矩阵见 docs/solutions/solutions.md。其中最常用的是姿态、手部、人脸检测与自拍分割它们都有现成的 TFLite 模型参数在 Python API 里直接可调且各平台入口一致从桌面调试切到移动端部署的成本很低。确认了能力清单最有说服力的还是把链路在本地跑起来。5分钟跑通MediaPipe 容器化快速上手 容器里预置了全部依赖环境不需要手动装 OpenCV 和 Bazelgit clone https://gitcode.com/GitHub_Trending/med/mediapipe cd mediapipe docker build --tagmediapipe . docker run -it --name mediapipe mediapipe # Hello World 图示例CPU 方式运行 GLOG_logtostderr1 bazel run --define MEDIAPIPE_DISABLE_GPU1 mediapipe/examples/desktop/hello_world只跑 Python 方案的话pip install mediapipe可跳过以上全部编译。本地编译的要点先装build-essential、git、python、zip、libopencv-core-dev等 apt 包再用 Bazelisk 管理 Bazel 版本无 GPU 的机器给所有 bazel 命令加--define MEDIAPIPE_DISABLE_GPU1。完整依赖清单见安装文档。链路通了接下来进入两个最高频的场景入口故意不同一个喂图片、一个喂视频。MediaPipe 姿态估计与手部追踪两个高频场景拆解MediaPipe 姿态估计从单张图片到 33 个关键点MediaPipe 姿态估计输出 33 个人体关键点含 3D 坐标还能同时输出身体分割掩码。最小 demo 用一张静态图输入可以看到完整的数据结构import cv2 import mediapipe as mp with mp.solutions.pose.Pose(model_complexity1, static_image_modeTrue) as pose: img cv2.cvtColor(cv2.imread(person.jpg), cv2.COLOR_BGR2RGB) result pose.process(img) for lm in result.pose_landmarks.landmark: cv2.circle(img, (int(lm.x * img.shape[1]), int(lm.y * img.shape[0])), 3, (0, 255, 0)) cv2.imshow(MediaPipe Pose, img) cv2.waitKey(0)model_complexity0 最快、2 最准、1 均衡按帧率需求选static_image_mode处理静态图时开启停用依赖历史帧的时序平滑smooth_landmarks结果时序平滑处理视频流时抑制抖动MediaPipe 手部追踪视频文件入口与跟踪参数手部追踪每只手检测 21 个关键点并跨帧保持手的身份是手势识别的地基。示例从本地视频文件读取按 ESC 退出import cv2 import mediapipe as mp mp_draw mp.solutions.drawing_utils cap cv2.VideoCapture(test.mp4) with mp.solutions.hands.Hands(max_num_hands2, min_detection_confidence0.5, min_tracking_confidence0.5) as hands: while cap.isOpened(): ok, frame cap.read() if not ok: break res hands.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) if res.multi_hand_landmarks: for lm in res.multi_hand_landmarks: mp_draw.draw_landmarks(frame, lm, mp.solutions.hands.HAND_CONNECTIONS) cv2.imshow(MediaPipe Hands, frame) if cv2.waitKey(5) 0xFF 27: breakmax_num_hands1-2需要双手操作时调大min_detection_confidence检测阈值低光照环境下调低min_tracking_confidence跟踪阈值低于它的手判定丢失并重新检测要落到 C直接看 mediapipe/examples/desktop/ 目录pose_tracking、hand_tracking 等子目录自带采集与渲染逻辑照 BUILD 文件跑即可。Demo 能跑之后接下来的问题通常是为什么慢、为什么抖。MediaPipe 调优与避坑模型复杂度、多帧架构、报错速查 ⚙️模型复杂度怎么选Pose 提供 0/1/2 三档0 延迟最低适合直播和低端设备2 精度最高适合离线处理Hands 是 0/1 两档1 在连续帧下更稳纯 CPU 机器记得用--define MEDIAPIPE_DISABLE_GPU1编译否则运行时会报 GPU 上下文初始化失败多帧处理架构摄像头采集与推理拆成两个线程用队列缓冲推理侧控帧率避免推理卡顿反压采集抖动优先用smooth_landmarks和跟踪阈值解决不要自己再叠一层低通滤波编译与运行报错速查环境依赖类报错逐条对照排障文档掉帧、延迟高用内置 tracing 能力定位耗时最高的 calculator分析方法见 docs/tools/ 下的性能分析章节GPU 初始化失败先换 CPU 路径验证链路再排查过期的 GL/EGL 上下文参数稳定后最后一步是挑一个能落地的形态。MediaPipe 落地方向与延伸动作计数与智能货架识别健身动作计数器姿态估计给出髋、膝、踝三个点逐帧算膝关节角度用降过 90° 再回到 160° 以上计一次的滞回阈值判定一次深蹲屏幕实时显示次数。一个 Python 脚本就能出可演示原型。智能货架识别物体检测的 ssdlite 模型逐帧输出类别与置信度配合 Box Tracking 对多个物体做稳定跟踪适合货架盘点、资产防盗提醒等场景。延伸资源自定义模型训练手势识别、目标检测等mediapipe/model_maker/图引擎与 Calculator 机制docs/framework_concepts/完整方案列表与模型卡docs/solutions/models.md从第一帧画面到第一个稳定关键点MediaPipe 已经把最重的部分做完了你的工作只是挑一个场景、把参数调对。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考