1. 赛题拆解与模块化设计思路拿到2023年TI电赛G题“空地协同智能消防系统”的任务书时很多同学的第一反应可能是头大无人机、小车、视觉、通信、控制感觉要学的东西太多了。但如果你有模块化开发的思维就会发现这个看似庞大的系统其实是由几个相对独立的功能模块“搭积木”一样组合起来的。我当年带队参赛也是用这种思路把复杂问题简单化最终高效地完成了系统集成。今天我就结合自己的实战经验详细聊聊如何用“搭积木”的方式搞定无人机部分的飞控与视觉融合。整个系统的核心任务很明确无人机自主巡航指定区域发现模拟火源一个红色LED光源后悬停在其上方通过机载的向下激光笔进行指示并将火源位置信息通过无线数传发送给地面的消防车最后由消防车完成精准灭火。拆解开来无人机部分就三个核心模块自主飞行控制模块、视觉识别与跟踪模块、空地通信与任务协同模块。每个模块都有成熟的解决方案和API接口我们要做的不是从零造轮子而是理解每个“积木块”的功能然后用代码“胶水”把它们巧妙地粘合在一起实现完整的任务流。这种思路能极大降低开发难度让你把精力集中在系统联调和性能优化上而不是纠结于某个底层驱动怎么写。2. 硬件平台选型与快速搭建工欲善其事必先利其器。一个稳定可靠的硬件平台是成功的一半。对于电赛这种时间紧、任务重的比赛我强烈建议选择经过验证的、开箱即用的竞赛级无人机开发平台比如文中提到的NC360或者“躺赢者PRO”这类飞控。它们的优势在于底层飞控算法、传感器融合、姿态解算这些最复杂、最容易出bug的部分厂家已经帮你打磨得非常稳定了并且提供了丰富的二次开发接口SDK。你拿到手就是一个能稳当悬停、能接收指令飞行的“智能底盘”可以直接在上面构建你的应用逻辑。核心硬件清单如下飞控平台选择支持PX4或ArduPilot开源架构并提供了完善上层API的飞控。关键是要有稳定的SDK模式能让你通过串口或数传发送指令控制飞机。机载计算机这是视觉处理的“大脑”。树莓派4B或Jetson Nano是性价比之选。需要算力更强、能跑更复杂神经网络模型的可以考虑Jetson Orin Nano。务必做好减震电机振动是导致视觉图像模糊、处理失败的头号杀手。视觉传感器对于G题这种识别固定颜色色块红色光源的任务OpenMV Cam H7或一款普通的USB摄像头配合OpenCV足矣。如果环境光复杂可以考虑加装红外滤光片。摄像头必须垂直向下安装并确保视野无遮挡。定位系统室内无GPS环境下必须依赖其他定位方式。光流超声波是基础组合能满足低空2-3米悬停精度。追求更高精度和稳定性强烈推荐使用UWB超宽带定位系统它能提供厘米级的全局定位让无人机航点飞行像走路一样简单。这是我们当年能稳定拿高分的关键。通信链路无人机与地面站或你的电脑、无人机与消防车之间需要可靠通信。建议使用数传电台如SiK Telemetry进行飞控遥测和指令传输同时用Wi-Fi或另一套数传建立机载计算机与地面控制程序之间的数据链路用于传输图像处理结果和火源坐标。把这些硬件组装起来就像搭乐高。先确保飞控、电调、电机、遥控器接收机这条动力链路正常能手动遥控飞行。然后挂载机载计算机和摄像头注意重心平衡。最后连接所有通信设备上电测试。硬件搭建阶段一定要耐心线缆要捆扎好避免松动供电要充足且稳定。3. 飞控二次开发像调用函数一样控制飞行这是“搭积木”编程的核心。现代竞赛飞控通常都提供了高级的飞行控制API。你不需要懂PID怎么调也不需要知道姿态解算的数学公式你只需要学会调用几个关键函数就能指挥无人机完成复杂的动作。以文中提到的飞控API为例我们来看看如何用代码“积木”构建飞行任务// 示例一个简化的航点飞行任务函数骨架 void mission_execute() { // 积木1自动起飞到指定高度 uint8_t takeoff_status Auto_Takeoff(1.8); // 起飞到1.8米高度 if (takeoff_status 1) { printf(起飞完成开始巡航。\n); } // 积木2顺序飞向航点A, B, C... float waypoints[][3] {{1.0, 1.0, 1.8}, {2.0, 1.0, 1.8}, {2.0, 2.0, 1.8}}; // 航点坐标 (x, y, z) for (int i 0; i 3; i) { // 设置目标点 set_target_position(waypoints[i][0], waypoints[i][1], waypoints[i][2]); // 等待抵达循环检查位置误差 while (!check_position_reached(waypoints[i], 0.15)) { // 误差小于15cm认为到达 // 可以在这里插入其他任务比如实时检查视觉识别 check_fire_source(); // 视觉检查火源 delay_ms(50); } printf(到达航点 %d。\n, i); } // 积木3返航并降落 return_to_home(); auto_land(); }在实际开发中你需要仔细阅读飞控提供的SDK文档。关键API通常包括arm()解锁、takeoff(height)起飞、goto_position(x, y, z)飞向指定位置、land()降落。你需要用一个状态机来管理整个任务流程比如“待命 - 起飞 - 巡航 - 识别 - 悬停 - 投放 - 继续巡航 - 返航 - 降落”。每个状态对应一段代码“积木”状态之间的切换条件就是你的任务逻辑如到达航点、识别到火源。注意飞控指令的发送频率和反馈处理至关重要。建议使用一个稳定的定时器如50Hz循环发送控制指令并实时读取飞控返回的姿态、位置、电池状态等信息用于判断和日志记录。避免使用阻塞式的delay函数这会导致整个程序卡住无法响应其他事件。4. 视觉识别模块让无人机“看见”火源视觉部分是系统的“眼睛”。我们的目标是稳定、快速地识别出场地上的红色模拟火源。这里我分享一个用OpenCV实现的、鲁棒性很强的色块识别方案它不依赖于特定硬件在树莓派上也能流畅运行。import cv2 import numpy as np def detect_fire_source(frame): 检测图像中的红色火源。 返回是否检测到以及目标在图像中的中心坐标(x, y)和半径。 # 1. 图像预处理减少噪声增强红色 hsv cv2.cvtColor(frame, cv2.COLOR_BGR2HSV) # 定义红色的HSV范围注意OpenCV中H范围是0-180 # 红色在HSV色环两端所以需要两个范围 lower_red1 np.array([0, 120, 70]) upper_red1 np.array([10, 255, 255]) lower_red2 np.array([170, 120, 70]) upper_red2 np.array([180, 255, 255]) mask1 cv2.inRange(hsv, lower_red1, upper_red1) mask2 cv2.inRange(hsv, lower_red2, upper_red2) red_mask cv2.bitwise_or(mask1, mask2) # 形态学操作去除小噪点填充空洞 kernel np.ones((5,5), np.uint8) red_mask cv2.morphologyEx(red_mask, cv2.MORPH_OPEN, kernel) red_mask cv2.morphologyEx(red_mask, cv2.MORPH_CLOSE, kernel) # 2. 寻找轮廓 contours, _ cv2.findContours(red_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return False, None, None, 0 # 找到面积最大的轮廓假设火源是最大的红色区域 largest_contour max(contours, keycv2.contourArea) area cv2.contourArea(largest_contour) # 面积过滤避免误检小面积噪声 if area 500: # 阈值根据实际摄像头高度和火源大小调整 return False, None, None, 0 # 计算最小外接圆得到中心坐标和半径 (x, y), radius cv2.minEnclosingCircle(largest_contour) center (int(x), int(y)) radius int(radius) return True, center, radius, area # 在主循环中调用 cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break detected, center, radius, area detect_fire_source(frame) if detected: # 在图像上画出来 cv2.circle(frame, center, radius, (0, 255, 0), 2) cv2.putText(frame, fFire! Area: {area}, (center[0]-50, center[1]-30), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) # 计算火源在图像中的偏移量用于控制无人机对准 frame_center_x frame.shape[1] // 2 offset_x center[0] - frame_center_x # 将偏移量发送给飞控控制模块... cv2.imshow(Fire Detection, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()这个代码块就是一个标准的视觉处理“积木”。它接收一帧图像输出是否检测到目标以及目标的位置信息。你需要将这个“积木”集成到无人机的主程序中通常是在一个独立的视觉处理线程里运行不断将检测结果如offset_x传递给飞控控制线程。几个提升识别鲁棒性的实战技巧光照适应性比赛现场光线可能变化。除了调整HSV阈值可以在程序启动时做一个简单的自动白平衡或颜色校准。或者使用更稳定的颜色空间如YCrCb它对光照变化相对不敏感。多特征融合如果规则允许可以在红色光源旁加一个特定频率闪烁的红外LED。视觉端加装红外滤光片这样你的摄像头就只对那个特定红外信号敏感几乎完全排除环境光干扰。这是很多强队的“秘密武器”。目标跟踪一旦识别到火源可以切换到跟踪算法如KCF、CSRT即使目标短暂被遮挡或移动也能跟住提高后续对准阶段的稳定性。5. 飞控与视觉的融合控制策略识别到火源只是第一步关键是如何让无人机自动飞过去并对准它。这就是视觉伺服的过程。我们不能简单地把图像偏移量直接转换成速度指令那样很容易产生震荡甚至失控。我推荐采用分层控制策略这是一个非常有效的“融合积木”第一阶段粗对准位置模式。当在巡航高度如1.8米识别到火源时计算火源在图像中的像素偏移将其转换为世界坐标系下的位置偏差需要摄像头标定知道像素和实际距离的换算关系。然后调用飞控的goto_position函数让无人机直接飞到火源正上方。这个阶段追求快速接近。第二阶段精对准速度模式/姿态模式。当无人机到达火源大致上方后切换到更精细的控制模式。例如进入一个专用的“悬停对准”子任务。在这个任务中我们不再发送绝对位置指令而是根据实时计算出的图像中心与火源中心的像素偏差生成一个速度指令。// 伪代码视觉伺服速度控制 float pixel_error_x fire_center_x - image_center_x; float pixel_error_y fire_center_y - image_center_y; // 比例控制将像素误差转换为速度指令需标定系数Kp float velocity_x -Kp_x * pixel_error_x; // 注意方向误差为正需要负向速度补偿 float velocity_y -Kp_y * pixel_error_y; // 发送速度指令给飞控 send_velocity_command(velocity_x, velocity_y, 0, 0); // Vx, Vy, Vz, Yaw rate同时设置一个退出条件当像素误差连续N帧小于某个很小的阈值比如5个像素并且持续了T秒比如1秒认为对准完成。第三阶段定高与投放。对准完成后锁定当前水平位置然后控制无人机缓慢下降到指定投放高度如1米。高度到达后悬停稳定再发出信号控制舵机投放灭火包。投放完成后再上升回巡航高度继续未完成的航点任务。这个策略将复杂的视觉伺服问题分解成了几个清晰的步骤每个步骤都可以单独调试大大降低了调试难度。记得在代码中为每个阶段设置明确的状态标志并用switch-case或if-else进行状态转移管理。6. 空地协同与通信联调无人机和消防车不是孤立的它们需要通过通信“对话”。通信的稳定性和协议设计的简洁性直接决定了系统联调的痛苦程度。通信方案选择数传电台如SiK负责传输飞控的关键状态位置、速度、电池电压和关键指令解锁、模式切换。而火源坐标、任务状态等应用层数据我建议使用基于串口的简单自定义协议通过另一条独立的数传链路或者Wi-Fi如果距离近且干扰小传输。不要尝试用MAVLink协议传输所有自定义数据那会变得复杂。定义一个简单高效的应用层协议例如数据帧格式帧头0xAA 0xBB 数据长度 消息ID 数据内容 校验和消息ID定义0x01: 无人机 - 小车发送火源坐标 (float x, float y)0x02: 无人机 - 小车发送自身状态 (uint8_t status)0x03: 小车 - 无人机发送遥控指令 (uint8_t cmd)在无人机端当视觉识别并对准火源后需要将火源的全局坐标发送给小车。这里有一个关键点无人机视觉得到的是相对坐标相对于无人机机身。你需要结合无人机自身的全局定位信息来自UWB或光流里程计融合进行转换。假设无人机自身位置为(drone_x, drone_y)摄像头测得火源在无人机机体坐标系下的偏移为(delta_x, delta_y)那么火源的全局坐标就是(drone_x delta_x, drone_y delta_y)。将这个坐标通过定义好的协议发送出去。小车端收到坐标后将其作为导航目标点规划路径前往灭火。同时小车也可以发送指令给无人机比如请求重新扫描、紧急降落等。联调时务必先在地面上用串口助手测试通信用协议确保数据解析正确再上真机测试。7. 系统集成与实战调试避坑指南把所有“积木”模块的代码集成到一个完整的工程里才是真正的挑战。这里分享几个我踩过坑才总结出来的实战经验。代码架构建议采用多线程架构。主线程负责任务状态机和飞控指令发送一个线程专用于视觉处理一个线程负责通信接收和发送还有一个线程用于日志记录和状态监控。线程间通过线程安全的队列或全局变量加锁交换数据。避免在视觉处理线程或通信线程中直接调用可能阻塞的飞控发送函数。调试是重头戏分模块调试务必确保每个模块单独工作正常。先让无人机能稳定地手动飞行。再测试视觉识别在电脑上跑通识别代码用视频或图片测试。然后测试通信两个节点互相发数据。最后再整合。仿真测试如果飞控平台支持软件在环SITL或硬件在环HITL仿真一定要用在Gazebo或类似仿真环境中你可以安全地测试整个自主飞行和识别流程大幅减少实地炸机风险。实地调试步骤第一步静态测试。飞机放地上上电测试所有传感器数据是否正常IMU、气压计、光流等测试通信是否畅通。第二步系留测试。用绳子或网兜把飞机拴住离地几十厘米。测试自动起飞、定点悬停、小范围移动。观察视觉识别是否工作指令响应是否及时。第三步低速低空测试。在开阔无人的场地进行低空1米左右、低速的航点飞行测试。重点观察定位是否漂移视觉识别在动态下是否还能稳定工作。第四步全流程测试。按照比赛任务流程完整跑一遍。记录下每个环节的时间、精度和成功率。常见坑点与解决方案视觉识别突然失效大概率是光照变化。准备一套手动阈值调整界面比赛现场可以快速微调。或者采用前面提到的自适应方法。无人机悬停晃动或漂移检查减震是否到位光流摄像头下的地面纹理是否清晰可以铺上棋盘格纸。UWB定位下检查锚点布置是否合理有无多径干扰。通信延迟或丢包检查天线放置远离电机和电调等干扰源。优化通信协议增加重发机制和超时判断。降低不必要的数据发送频率。任务逻辑混乱状态机设计要清晰每个状态要有明确的进入条件、执行动作和退出条件。多打日志方便定位问题出在哪个状态。最后也是最重要的做好冗余和安全处理。代码里一定要有紧急情况处理逻辑比如视觉丢失目标超过一定时间自动退出对准模式继续巡航或返航通信中断超过一定时间无人机自动进入返航模式电池电压过低强制降落。这些安全措施能让你在比赛现场心里有底不至于因为一个小意外就导致炸机退赛。整个开发过程就是不断把玩这些“积木”调整它们之间的连接方式和参数直到整个系统如臂使指。当你看到无人机流畅地自动巡航、精准地识别并悬停在火源上方、稳稳地投放并通知小车那种成就感是无与伦比的。这种模块化、系统化的工程实践能力远比比赛名次本身更为珍贵。