第2章 自动驾驶Uwe. Franke图像理解小组，戴姆勒公司，辛德芬根，德国在过去的20年中，计算机视觉研究取得了前所未有的进展。与此同时，现代CMOS成像仪在室外场景下的图像质量有了显著提高，可用计算能力在不到2年的时间里提高了1倍。因此，汽车的计算机视觉已经从简单的车道保持发展到强大的驾驶员辅助系统，如第7章所述。最具吸引力的研究目标是自动驾驶，尤其是在繁忙的城市交通中。本章组织如下：首先，我们对自动驾驶和自动驾驶车辆的环境感知进行了概述。随后，我们专注于复杂城市交通场景的图像理解。最后，概述了正在进行的研究课题。2.1 简介2.1.1 梦想自动驾驶的梦想几乎和汽车本身一样古老。早在1925年，Francis P. Houdina就公开展示了他的无线遥控无人驾驶汽车“LinrricanWonder”，这辆汽车行驶在纽约市的街道上，穿行在百老汇大街和第五大道之间，穿行在车水马龙之中。几年后，在1939年的纽约世界博览会上，诺曼·贝尔·格迪斯（Norman Bel Geddes）设计了“未来城市”（Futurama）展览，展示了未来交通的可能模型，其中包括自动高速公路，汽车将通过感应电缆行驶，同时由基站的无线电控制。1956—1957年，电力公司中央电力和照明公司在许多主流报纸上刊登了一则广告，预测自动驾驶汽车的未来。他们广告中的著名图片如图2.1所示。他们的口号是：“电力可能是驱动因素。有一天，你的汽车可能会沿着一条电动高速公路高速行驶，它的速度和转向系统由嵌在道路上的电子设备自动控制。高速公路将变得安全——通过电力！没有交通堵塞，没有碰撞，没有驾驶员疲劳。”同样是在20世纪五六十年代，通用汽车公司（General Motors）展示了他们的“火鸟”（Firebirds），这是一系列试验性汽车。据描述，它们拥有“电子导航系统，a)b)图2.1 在过去的60年里，人们对自动驾驶汽车的使用和设计的看法并没有太大的改变：a）20世纪50年代的著名广告。b）2014年发布的一项设计研究可以在驾驶员放松时让汽车在自动公路上飞驰”。60多年后的今天，梦想比以往任何时候都更加鲜活，其动机与20世纪50年代一样：1）安全：我们希望减少事故，因为与人类驾驶员相比，自动驾驶系统的可靠性更高，反应时间更短。考虑到全球每年造成124万人死亡的所有交通事故中约95%95\%95%是人为失误造成的，这是值得付出重大努力的。2）舒适性：如果自动驾驶解除了驾驶员控制汽车或监督系统的责任，那他们将能够阅读和写电子邮件、上网冲浪、看视频或放松。3）增加道路容量：优化现有高速公路的吞吐量是可以实现的，因为车辆之间的通信允许更小的间距。这是美国自动化高速公路项目（1995—1997）的基本动机。2.1.2 应用高速公路上的自动驾驶可能是最受欢迎的，但迄今为止还不是交通自动化的唯一应用。最重要的是，自动停车或以代客泊车的形式吸引了很多人。后者可以减少停车所需的空间，缓解停车不足的情况，因为汽车可以让乘客下车，把车停在较不缺乏空间的地方，然后根据需要返回来接乘客。另一个动机是消除冗余的人类旅行。人类不需要把车开到任何地方，因为机器人车可以独立行驶到任何需要它的地方，比如搭载乘客或进行维修。这对货车、出租车和汽车共享服务尤其重要。在某些特定领域，自动驾驶汽车已经投入使用。多弗-加来隧道由20辆车辆通过感应电缆进行维护和救援。在澳大利亚，力拓集团在他们的（地面上的）矿井中使用GPS导航和引导运行自动牵引货车。自动导航车辆也在鹿特丹港使用了多年。然而，到目前为止，这些系统都没有使用计算机视觉。2.1.3 自动驾驶等级美国高速公路安全管理局（NHTSA）已经建立了一个由5个等级组成的官方分类系统。德国当局（“Bundesanstalt für Straβenwesen”BAST）区分了4个级别：1）0级（无自动驾驶)：驾驶员完全控制车辆。2）1级（特定功能自动化）：单车控制是自动化的，如电子稳定控制或制动辅助。3）2级（组合功能自动化/BAST：部分自动化）：自动化的控制函数不止一个。该驱动程序被期望在任何时间和短时间内都可以进行控制。4）3级（有限的自动驾驶/BAST：高度自动化)：大部分时间由车辆控制。驾驶员可以在一个舒适的过渡时间内偶尔进行控制。5）4级（全自动驶/BAST：全自动化)：从旅程的开始到结束，车辆一直处于控制状态。驾驶员在任何时候都不需要控制车辆。2级系统已经投入商用。例如，梅赛德斯-奔驰（Mercedes-Benz）为中高档车提供了“智能驾驶”概念。它结合了自动巡航控制、车道保持和自动紧急制动功能。手动识别加上有限的驱动器性能使得驾驶员需时刻准备接管控制。特别是，系统增加到转向杆的时刻是有限的，汽车无法自动通过狭窄的公路弯道，因此需要驾驶员的帮助。从技术角度来看，迈向3级系统的步伐似乎很小。然而，由于驱动程序在紧急情况下不可用，因此这种模式极具挑战性。如果我们期望一个高度自动化的汽车实现和人类驾驶员相同的安全性，那么根据德国事故统计数据，高速公路上每小时发生小事故的概率应低于10−510^{-5}10−5，每小时由严重事故造成的死亡人数不应超过10−710^{-7}10−7。很明显，这需要车道识别和障碍物检测存在冗余。由于道路是为人类感知而建造的，视觉将成为传感系统的重要组成部分。2.1.4 重要研究项目使用视觉进行自动驾驶的研究可以追溯到20世纪80年代，当时CMU的车辆Navlab1使用摄像头在匹兹堡校园缓慢行驶。Dickmanns在图像序列分析中引入卡尔曼滤波是在受限硬件上实现实时性能的一个里程碑。早在1987年，他的4D方法就让他能够在德国高速公路上以高达100km/h100\mathrm{km / h}100km/h的速度演示基于视觉的车道保持（Dickmanns，1988）。他的开创性工作为今天市场上几乎所有的商用车道保持系统奠定了基础。20世纪80年代的先锋汽车体积巨大，因为需要大量的空间和能量来进行计算。图2.2所示为第一辆Navlab车辆和由梅赛德斯-奔驰和迪克曼集团运营的著名演示车辆“VITA”。1994年在巴黎举行的欧洲普罗米修斯项目的最后一次展会上，以视觉为基础的自动驾驶在公共公路上进行了演示，包括换道。1995年7月，波默劳（CMU）a)b)图2.2 a）CMU的第一辆验证车Navlab1。这辆客货两用车有五架计算机硬件，包括三个Sun工作站、视频硬件和GPS接收器，还有一台Warp超级计算机。车辆在20世纪80年代后期达到最高速度32km/h32\mathrm{km / h}32km/h。b）梅赛德斯-奔驰与慕尼黑武装部队大学的Dickmanns 合作制造的演示车VITA。20世纪90年代初，它配备了双焦视觉系统和一个带有10个处理器的小型转座机系统，在斯图加特附近的高速公路上进行自动驾驶，最高速度可达100km/h100\mathrm{km / h}100km/h使用基于视觉的横向控制和基于雷达的ACC，以98.2%98.2\%98.2%的自动化率驾驶着Navlab5汽车从华盛顿特区到圣地亚哥（No Hands Across America，1995）。同年，迪克曼的车队从德国慕尼黑出发，行驶了大约1750km1750\mathrm{km}1750km，到达丹麦的欧登塞，然后以175km/h175\mathrm{km/h}175km/h的最高速度返回。在没有驾驶员手动干预的情况下，最远行驶了158km158\mathrm{km}158km。平均每9km9\mathrm{km}9km需要人工干预一次。在20世纪90年代，作者自己在日常交通和长途旅行中“自主”行驶距离超过了1万km\mathrm{km}km。所有这些方法都有两个共同点。首先，他们实现了2级的自动驾驶，方向盘前有一名安全驾驶员。其次，他们关注的是结构良好的高速公路场景，在这种情况下，自动驾驶任务比在复杂和混乱的城市交通中容易得多。由于更好的算法和传感器在系统和技术上的可用性不断提高，Franke等（1995）采取了初步方法来实现在城市场景的自动驾驶。一个值得注意和高度重要的事件是2007年的DARPA城市挑战赛，CMU的赛车“Junior”赢得了冠军。这些团队必须在最短时间内完全自主地完成几项驾驶任务。所有六名入选者的工作都基于高端激光扫描仪和远程传感雷达。谷歌在自动驾驶领域令人印象深刻的工作是基于在城市挑战中获得的经验。因此，他们还采用高端激光扫描仪和远程雷达作为系统的主要传感平台，并辅以高分辨率的彩色摄像机进行交通信号灯识别。图2.3展示了2014年春季谷歌展示的“Junior”和一辆自动驾驶汽车的原型。这辆谷歌出租车既没有方向盘也没有踏板。2013年7月12日，Broggi和他的团队在意大利帕尔马进行了一次令人印象深刻自动驾驶试验（VisLab PROUD-Car Test，2013）。如图2.4所示，他们的车辆在公共交通中自动行驶。这条13km13\mathrm{km}13km长的线路包括乡村公路、两条有交叉路口的a)b)图2.3 a）CMU机器人实验室的Junior，2007年城市挑战赛冠军。b）2014年推出的一款谷歌汽车原型，既没有方向盘，也没有制动踏板。两款车的环境感知都基于高端激光扫描仪高速公路，以及有人行横道、隧道、人工路障、环形路和红绿灯的城市地区。2013年8月，一辆奔驰S级轿车（见图2.4）搭载了接近商用的立体摄像头和雷达传感器，沿着贝尔塔·奔驰125年前走过的1