行业资讯
GaussianLSS：基于深度不确定性与高斯泼溅的高效BEV感知方法
1. 从“又快又省”的标题说起GaussianLSS到底解决了什么痛点看到“2.5倍速度0.3倍内存”这样的标题第一反应是什么是某个新出的硬件优化库还是某个算法的工程奇迹在自动驾驶的感知领域尤其是在鸟瞰图BEV感知这个赛道上这样的性能提升数字背后往往意味着一个核心瓶颈被突破了。这个瓶颈就是深度估计的不确定性以及由此带来的计算开销与精度之间的艰难权衡。BEV感知简单来说就是把环视摄像头拍到的多个2D图像“翻译”成一个从车顶正上方往下看的、统一的3D空间地图。有了这张地图下游的规划、预测模块才能更好地理解“我在哪周围有什么接下来会发生什么”。目前主流的BEV技术路线大致分两种一种是基于投影的“Lift-Splat-Shoot”及其变体另一种是基于Transformer的查询学习范式。前者需要显式地估计每个像素的深度然后把像素“举”到3D空间再“拍扁”到BEV平面后者则试图绕过显式深度估计通过可学习的查询直接在BEV空间与图像特征交互。标题里提到的GaussianLSS全称是Gaussian Lift-Splat-Shoot它选择回归到第一条路也就是基于投影的方法。为什么因为基于投影的方法物理意义更明确但它的“阿喀琉斯之踵”在于深度估计不准。一个像素点到底对应前方3米还是5米传统方法通常只给出一个确定的深度值比如一个标量或者一个深度分布上的期望值。然而现实世界是模糊的物体的边缘、半透明区域如车窗、远处的小物体其深度本身就是不确定的。用一个确定的深度值去“硬猜”必然会导致投影后的3D点位置漂移反映在BEV特征图上就是特征模糊、物体边界不清。为了弥补这种不准模型往往需要堆叠更复杂的网络、更大的感受野结果就是计算量和内存占用飙升——这恰恰是“投影类方法”被诟病的地方。所以GaussianLSS的核心命题非常清晰如何在保持甚至提升基于投影方法物理可解释性优势的同时从根本上建模并利用深度不确定性从而在精度、速度和内存上实现全面突破它的答案就藏在“高斯泼溅”这个名字里。它不是简单地输出一个深度值而是为每个像素学习一个深度的概率分布均值和方差然后将这个分布转化为一个3D空间中的高斯椭球体最后通过一种可微的“泼溅”方式将这些椭球体的特征“渲染”到BEV网格上。这个过程让模型学会了“诚实”——哪里不确定就把特征散布得广一些哪里很确定就把特征聚集得紧一些。这种“诚实”反而成了提升效率和精度的关键。2. 深度不确定性从“猜一个数”到“描述一种可能”要理解GaussianLSS必须彻底搞懂它如何处理深度不确定性。这是整个工作的基石也是其性能提升的源头。2.1 传统LSS的深度估计一个脆弱的假设在经典的Lift-Splat-Shoot框架中“Lift”这一步通常是这样做的对于图像上的每个特征点模型会预测一个离散的深度分布比如在预定义的深度区间如5米到50米上输出一个概率向量表示这个点落在每个深度区间的可能性。然后通常取这个分布的期望值加权平均作为该点的“代表深度”用于后续的3D投影。这里存在两个问题信息损失期望值是一个统计量它抹杀了分布的形态。一个方差很大的双峰分布可能对应物体前后边缘和一个方差很小的单峰分布它们的期望值可能相近但代表的几何含义天差地别。只用一个期望值就把所有不确定性都丢弃了。误差传播用这个“可能不准”的期望值去做3D坐标计算X d * K_inv * [u, v, 1]^T误差会被直接、线性地放大。深度d的一点偏差在远处会导致巨大的3D位置偏差。这就好比让你蒙眼扔飞镖传统方法只记录你最后扎在靶子上的那个点期望值而完全忽略你出手时手臂的抖动范围方差。用这个点来代表你的投掷能力显然是不全面的。2.2 GaussianLSS的革新将不确定性参数化GaussianLSS彻底改变了这个范式。它不再输出一个离散的概率分布然后取期望而是直接为每个图像特征点学习两个参数深度均值μ表示最可能的深度位置。深度方差σ²表示对这个深度估计的信心程度。方差大说明深度很不确定可能是物体边界、透明体或远处小物方差小说明深度很确定。关键的一步来了这个一维的深度分布均值为μ方差为σ²如何与图像上一个2D像素点结合变成一个3D空间中的实体GaussianLSS的巧妙之处在于它利用相机成像的几何原理将深度不确定性“映射”为3D空间中的空间不确定性。具体来说一个图像坐标(u, v)和其深度值d通过相机内参矩阵K的逆变换可以对应到一条3D空间中的射线上的一个点。当深度d不是一个值而是一个分布N(μ, σ²)时这条射线上的点就不再是一个点而是一段“模糊的线段”。GaussianLSS将这个“模糊线段”近似为一个3D高斯分布。这个3D高斯椭球体的中心就是由深度均值μ计算出的3D点。而它的形状协方差矩阵则由深度方差σ²和图像坐标(u, v)处的特征共同决定。简单理解深度方差σ²决定了这个椭球体沿着射线方向的“长度”而模型根据图像特征例如该点是否是边缘、纹理是否丰富学习到的各向异性参数决定了椭球体在垂直于射线方向上的“胖瘦”。为什么是高斯分布这并非随意选择。首先高斯分布是连续概率分布中最常见、数学性质最友好的。其次在后续的“泼溅”步骤中高斯分布有着高效的、可微的渲染公式源自计算机图形学的“高斯泼溅”技术可以将无数个这样的3D高斯椭球体的特征快速、平滑地融合到2D的BEV网格上。这为整个流程的端到端可微训练和高效率推理奠定了基础。2.3 不确定性的物理意义隐式捕捉物体尺寸这是论文中一个非常深刻的洞察。传统方法中物体的3D尺寸长宽高通常需要一个额外的检测头来显式预测。但在GaussianLSS的框架下深度不确定性方差天然地蕴含了物体尺寸的信息。想象一个车辆前方的卡车。卡车车头的像素点深度相对确定方差小因为车头表面大致在一个平面上。而卡车侧面的像素点由于透视关系从近端到远端深度变化很大因此这些像素点对应的深度方差就会很大。当这些具有不同方差的高斯椭球体被泼溅到BEV平面时车头区域的特征会聚集在一个较小的范围内高确定性而车身侧面的特征则会沿着车长方向“涂抹”开高不确定性。因此网络在学习深度方差的过程中实际上也在隐式地学习物体的空间延展extent。模型不需要被明确告知“这里有个长物体”它通过优化深度预测的准确性自发地学会了用大的深度方差来“覆盖”那些在物理空间上属于同一物体但深度变化剧烈的像素区域。这相当于把物体分割和几何估计的任务部分地融合到了深度估计这个更底层的任务中是一种非常高效的表示。3. 高斯泼溅如何将3D的“云”渲染成2D的“地图”有了成千上万个3D高斯椭球体每个图像特征点对应一个下一步就是将它们“拍扁”到BEV平面上形成我们最终需要的BEV特征图。这个过程就是“Splat”泼溅。传统LSS使用的是体素化Voxelization和池化Pooling而GaussianLSS借鉴了3D高斯泼溅3D Gaussian Splatting, 3DGS的渲染思想实现了可微、高效且不确定性感知的特征聚合。3.1 泼溅的核心可微的Alpha混合对于BEV平面上的每一个网格比如一个0.1m x 0.1m的格子我们需要计算落在其中的所有3D高斯椭球体贡献的特征加权和。3D高斯泼溅提供了一种优雅的方式投影与权重计算对于一个给定的3D高斯椭球体我们可以计算它对BEV平面上每个网格点的“影响权重”。这个权重基于该高斯分布在网格中心位置的概率密度值。距离高斯中心越近、高斯分布越集中协方差矩阵的逆越大权重就越高。排序与混合理论上所有高斯对同一个网格点都有贡献。为了高效处理可以只考虑贡献最大的前K个高斯或者设置一个权重阈值。然后按照某种顺序例如按高斯中心到相机的距离从近到远对这些高斯的贡献进行Alpha混合。这个过程与计算机图形学中渲染半透明物体的“over”操作类似是完全可微的。公式上对于BEV网格(i, j)处的特征F_{i,j}其计算方式近似为F_{i,j} Σ_{k} (α_{k, i,j} * f_k)其中k遍历所有高斯f_k是第k个高斯附带的图像特征向量α_{k, i,j}是第k个高斯对网格(i, j)的权重经过归一化处理确保所有高斯的权重和为1。这个权重α就是由高斯的3D位置、协方差矩阵以及一个可学习的不透明度共同决定的。3.2 不确定性如何影响泼溅这正是GaussianLSS的精髓所在。一个深度方差大的高斯其对应的3D椭球体在沿着射线方向会被“拉长”。当这个被拉长的椭球体投影到BEV平面时它覆盖的网格范围会更广。高确定性区域如地面、墙面深度方差小高斯椭球体瘦长泼溅到BEV上时特征集中在很小的区域内形成清晰、尖锐的特征响应。这有利于精确定位。高不确定性区域如物体边缘、远处深度方差大高斯椭球体肥胖泼溅到BEV上时特征会“扩散”到一片较大的区域。这听起来像是坏事但实际上有两个好处鲁棒性即使深度估计有些许偏差由于特征本身已经扩散开正确的BEV位置仍然能接收到部分特征信号不会因为投影错误而完全丢失信息。隐式平滑与补全特征的扩散起到了类似平滑滤波的作用能使BEV特征图在物体边界处过渡更自然甚至能一定程度上补全因遮挡而缺失的信息。3.3 与体素池化的对比效率跃升的关键传统LSS的体素化池化操作可以理解为一种“硬分配”。一个3D点根据它的坐标被分配到某个具体的体素网格中然后该网格内所有点的特征通过最大池化或平均池化进行聚合。这个过程存在两个效率瓶颈离散化误差坐标的微小变化可能导致点被分配到不同的体素导致特征聚合不连续。稀疏性计算3D空间大部分是空的但体素化需要为整个3D空间即使是空区域预留内存或者维护复杂的数据结构如稀疏体素哈希表来处理非空体素这带来了额外的计算和内存开销。高斯泼溅是一种“软分配”。每个高斯对所有BEV网格都有非零的权重尽管很多权重接近于零通过可微的渲染公式一次性计算出所有网格的特征。这种操作在现代GPU上可以被高度并行化并且由于权重计算基于解析的高斯函数非常高效。更重要的是它避免了显式构建和遍历3D体素网格这个昂贵步骤。这就是“2.5倍速度0.3倍内存”的核心来源之一。内存节省0.3倍主要源于不再需要存储庞大的中间3D体素特征张量。速度提升2.5倍则源于省去了体素坐标计算、排序、哈希查找等操作。高斯泼溅的渲染核心是高度优化的矩阵/张量操作非常适合GPU加速。由于不确定性建模提高了特征表示的效率可能使得网络可以用更少的通道数或更浅的层数达到同等甚至更好的性能进一步减少了计算量。4. 实战拆解GaussianLSS的网络架构与训练要点理解了原理我们来看看如何把它变成一个可以训练和部署的模型。虽然论文没有开源全部代码但我们可以根据描述勾勒出其核心架构和实现关键。4.1 网络架构总览一个典型的GaussianLSS pipeline可能包含以下组件图像编码器Image Encoder输入多视角环视图像使用一个共享权重的CNN如ResNet、EfficientNet或Vision Transformer提取多尺度特征图。深度与不确定性预测头Depth Uncertainty Head这是一个轻量级的网络模块通常以每个视角的特征图为输入。它并行输出两个张量Depth Mean Map尺寸为(H, W, 1)每个位置是深度对数空间的值训练更稳定。Depth Variance Map尺寸为(H, W, 1)每个位置是深度方差的预测值通常也经过某种激活函数如Softplus确保为正。 这个头通常由几个卷积层构成是模型学习几何不确定性的核心。特征提取与关联从图像编码器输出的特征图中提取与深度预测相对应的特征向量。同时根据相机内外参将每个像素的(u, v)坐标与预测的深度均值μ和方差σ²结合按照第2章所述的原理实例化为一个个3D高斯椭球体。每个高斯椭球体附带有3D中心位置(x, y, z)。3D协方差矩阵Σ由深度方差和学习的各向异性参数决定。不透明度α一个可学习的标量。关联的图像特征向量f。高斯泼溅渲染器Gaussian Splatting Renderer接收所有视角生成的所有3D高斯椭球体以及预定义的BEV网格范围、分辨率。这个渲染器负责执行第3章描述的泼溅操作为每个BEV网格生成聚合后的特征。输出是(H_bev, W_bev, C)的BEV特征图。BEV编码器与任务头BEV Encoder Task Heads得到的BEV特征图可以输入一个标准的BEV编码器如由2D卷积或Transformer组成进行进一步的特征融合和增强。最后连接不同的任务头如3D目标检测头、地图分割头、运动预测头等。4.2 训练损失函数设计训练GaussianLSS需要精心设计损失函数以同时监督深度预测、不确定性估计和下游任务。深度监督损失这是基础。通常使用平滑L1损失或BerHu损失在真值深度可用的数据集如nuScenes的LiDAR点云投影深度图上监督预测的深度均值μ。L_depth SmoothL1(μ, d_gt)。不确定性正则化损失仅仅预测方差是不够的必须引导方差学习到有意义的数值。常用的方法是基于最大似然估计的负对数似然损失。我们假设深度真值d_gt服从一个以预测均值μ为均值、预测方差σ²为方差的高斯分布。那么最大化观测到d_gt的似然就等价于最小化负对数似然L_nll 0.5 * (log(σ²) (d_gt - μ)² / σ²)这个损失函数非常巧妙当深度预测误差(d_gt - μ)²大时模型可以通过增大方差σ²来降低损失。这鼓励模型在难以预测准确深度的地方承认自己的“无知”输出大方差。当预测很准误差小时模型会倾向于减小方差σ²来降低损失因为log(σ²)项会惩罚过大的方差。这鼓励模型在能预测准的地方输出“自信”小方差。因此这个损失函数同时驱动了深度均值的准确性和方差估计的校准性。下游任务损失最终的BEV特征图需要用于具体的感知任务。因此必须加上任务本身的损失如3D检测的Focal Loss、L1 Loss分割的交叉熵损失等。L_task L_det L_seg ...。总损失L_total λ1 * L_depth λ2 * L_nll λ3 * L_task。超参数λ1, λ2, λ3需要仔细调优以平衡几何学习和语义学习。4.3 实现中的关键技巧与“坑”深度表示与数值稳定直接回归深度绝对值范围很大0.1m到100m训练不稳定。通常回归深度的对数log(d)或者逆深度1/d。对于方差σ²也要确保其为正可以通过Softplus激活函数实现。高斯泼溅的加速原生的高斯泼溅需要计算每个高斯对所有网格的贡献复杂度是O(N*M)其中N是高斯基数M是BEV网格数不可接受。实际实现必须进行优化截断Truncation每个高斯只影响其周围有限范围内的网格例如覆盖其3σ范围内的网格。排序与瓦片化Tiling将BEV平面和3D高斯空间划分成瓦片每个瓦片独立并行处理。这是图形学中的标准加速技术。近似计算使用预计算的查找表或低精度近似来加速指数函数的计算。梯度流动整个从图像到BEV的流程必须是端到端可微的。高斯泼溅的渲染公式本身是可微的关键在于深度方差σ²的梯度如何有效地反向传播到图像特征上。这要求不确定性预测头有足够的表现力。与BEVFormer等Query-based方法的对比实验设置在论文中为了公平比较速度需要确保对比的模型如BEVFormer处于相同的输入分辨率、特征维度、编码器层数等配置下。GaussianLSS的优势在于其主干网络可以更轻量因为一部分几何推理的负担被高效的不确定性建模分担了。5. 性能数字背后的故事在nuScenes上的实测与启示论文在自动驾驶权威数据集nuScenes上进行了全面评测结果非常亮眼。我们不仅要看数字更要解读这些数字背后的含义。5.1 核心指标对比根据论文GaussianLSS与基于投影的方法如LSS系列和基于查询的方法如BEVFormer系列进行了对比。其宣称的“2.5倍速度0.3倍内存”主要是与基于查询的SOTA方法如BEVFormer相比。这是一个非常重要的定位它证明了经过深度不确定性增强的、回归投影类方法在效率上可以大幅超越目前主流的查询类方法。速度2.5x Faster这里的速度主要指推理速度FPS。提升来源于计算图简化避免了Transformer中昂贵的跨注意力计算O(N^2)复杂度。高斯泼溅的核心是并行化的加权求和GPU友好。内存访问优化避免了维护大型BEV Query特征和计算注意力权重的中间内存开销。网络轻量化由于表示更高效可能允许使用更小的特征通道数或更少的网络层。内存0.3x Memory主要指GPU显存占用。节省来源于无大型中间3D张量传统LSS需要存储体素化后的3D特征体积即使稀疏也表示仍有开销。GaussianLSS直接渲染到2D BEV跳过此步。无注意力机制的大矩阵BEVFormer类模型需要存储(H*W, N_query)规模的注意力权重矩阵当分辨率高、Query数量多时非常耗内存。精度仅0.4% mIoU差距在nuScenes的3D检测或地图分割任务上GaussianLSS达到了与SOTA投影类方法相当的性能与最好的查询类方法相比可能仅有微小差距如0.4%的mIoU。这个“微小差距”恰恰是最大的卖点。它意味着GaussianLSS用显著更高的效率和更低的资源消耗换来了几乎不打折扣的精度。这在追求车载芯片部署的自动驾驶领域价值巨大。5.2 不确定性估计的定性验证论文中通常会展示一些可视化图这是理解其工作价值最直观的方式深度不确定性图输入一张图像模型会输出每个像素的深度方差热力图。你会看到物体轮廓、车窗玻璃、远处模糊的物体区域呈现高亮高不确定性而平坦的地面、近处清晰的物体表面则是暗色低不确定性。这证明模型确实学会了有意义的深度不确定性。BEV特征图对比将GaussianLSS生成的BEV特征图与传统LSS的进行对比。可以观察到在物体边界处GaussianLSS的特征过渡更平滑没有明显的“鬼影”或断裂对于远处小物体GaussianLSS的特征响应可能更鲁棒不易丢失。故障案例分析展示一些传统方法失败如投影错误导致物体在BEV上分裂或位置错误而GaussianLSS能成功处理的场景。这直接体现了不确定性建模带来的鲁棒性提升。5.3 对实际研发的启示“重归几何”的思潮GaussianLSS的成功是“几何方法”在BEV感知领域的一次有力回归。它提醒我们在追逐纯数据驱动的黑盒模型如Transformer时不应忽视物理先验和几何约束的强大力量。将先验知识与深度学习结合往往是通往高效、鲁棒模型的关键。不确定性不是负担而是资源传统上模型的不确定性是我们要尽力消除或规避的“噪声”。但GaussianLSS展示了如果主动地、显式地对不确定性进行建模和利用它可以成为一种强大的表示工具甚至能隐式地完成其他任务如物体尺寸估计并最终提升系统的效率和鲁棒性。跨领域技术融合的价值将计算机图形学中成熟的高斯泼溅渲染技术创造性地应用于自动驾驶感知的BEV构建是一次漂亮的“跨界”创新。这启示我们解决前沿AI问题眼光不能只局限于ML社区图形学、物理学、优化理论等领域的成果都可能带来突破。部署友好性2.5倍的速度和0.3倍的内存这些指标直接翻译成更低的延迟、更低的功耗和更低的硬件成本。对于需要部署在嵌入式平台或车载计算单元上的自动驾驶系统来说GaussianLSS这类工作提供了极具吸引力的技术选项。它表明学术上的SOTA模型正在越来越紧密地与工业界的实际需求对接。从我个人的工程实践经验来看像GaussianLSS这样的工作其价值不仅仅在于论文里的几个数字。它提供了一套完整的方法论如何将一个问题深度不确定转化为一种表示3D高斯再通过一个高效的机制泼溅渲染来解决它同时意外地获得了性能红利。在复现或借鉴这类工作时最大的挑战往往在于工程实现细节特别是高斯泼溅渲染器的GPU高效实现以及多任务损失权重的精细调优。但一旦打通它所带来的效率优势是实实在在的很可能成为下一代车载感知模型的一个基础组件。
郑州网站建设
网页设计
企业官网
