点击上方“小白学视觉”选择加星标或“置顶” 重磅干货第一时间送达晚上想拍张运动的照片结果要么糊成一团要么暗得看不清传统相机在夜间动态场景成像时仿佛陷入了一个死循环想拍清楚得长曝光可一动就模糊想抓动态得短曝光画面又黑得没法看。但现在事件相机的出现让这个难题有了新解法今天要给大家介绍的这篇顶会论文——《NER-Net: Seeing Motion at Nighttime With an Event Camera》就用硬核技术把事件相机的夜间成像能力拉满还顺带解决了数据和算法的两大痛点。论文信息题目NER-Net: Seeing Motion at Nighttime With an Event Camera基于事件相机实现夜间运动成像的NER-Net方法作者Haoyue Liu, Jinghan Xu, Shihan Peng, Yi Chang, Hanyu Zhou, Yuxing Duan, Lin Zhu, Yonghong Tian, Luxin Yan先说说为啥传统相机在夜里“不行”晚上拍照传统RGB相机的短板太明显了。比如拍夜间行驶的汽车长曝光能让画面亮一点但汽车会拖出长长的虚影短曝光能冻住瞬间可除了车灯一片漆黑。这是因为传统相机的曝光时间和动态捕捉需求天生矛盾。而事件相机就不一样了它像个“动态捕手”只对画面中亮度变化的部分敏感每个像素独立工作时间分辨率能达到微秒级动态范围更是高达120dB。简单说就是既能看清暗处细节又能精准捕捉快速运动简直是为夜间动态场景量身定做的但事件相机也有难题没有专门的夜间事件-图像配对数据集现有方法大多靠模拟数据训练一到真实场景就拉垮夜间事件信号问题多噪声大、有时间拖尾、空间分布不均匀重建出的图像质量堪忧三大创新点直接解决行业痛点这篇论文的作者团队可是下了狠功夫从数据到算法全方位突破三大创新点直接击中夜间事件成像的要害1. 首个真实低光事件数据集RLED数据不够我们自己造没有好数据算法再牛也白搭。作者团队搭建了一套同轴成像系统硬生生造出了80,400组时空对齐的低光事件和清晰图像真值。这套系统里有事件相机、传统RGB相机、分束器和ND滤光片。分束器把光线一分为二ND滤光片给事件相机“减光”模拟夜间低光环境同时保证两台相机时间同步、像素对齐。RLED数据集厉害在哪光照范围超广从0.1 lx伸手不见五指到1000 lx昏暗路灯下场景超丰富城市、郊区、村庄、山谷都有涵盖多阈值数据包含不同传感器阈值设置的事件更贴近真实使用场景看看不同阈值下的事件分布阈值太低噪声多太高又丢信息这数据集简直是为研究量身定做的2. NER-Net网络针对性解决夜间事件三大顽疾针对夜间事件的噪声、拖尾、空间不均匀问题作者设计了NER-Net网络两大核心模块堪称“夜间清道夫”。先看整体框架是不是一目了然1LETC模块给拖尾事件“拨乱反正”夜间光线暗事件相机会出现“时间拖尾”——就像运动的物体后面带了个影子这是因为传感器截止频率降低导致的。作者发现拖尾事件有个规律连续事件极性相同、时间间隔越来越大。基于这个特点先用水滴石穿的ETS方法校正时间戳再让LETC模块学习这种校正规律让事件在时间轴上站对位置。2NSIE模块给事件信号“大扫除”夜间事件的噪声分两种随机噪声到处乱窜和固定噪声死磕一个像素。NSIE模块里的TCNS组件专门收拾它们随机噪声没规律用时间对齐后的特征相乘放大差异来抑制固定噪声老在同一位置用相邻帧相减来消除还有夜间光照不均匀的问题NSIE的不均匀校正门能根据事件密度动态调整亮的地方不爆暗的地方不丢细节。最后通过时空聚合把长短期信息和多尺度特征整合起来重建质量直接飙升3. 传感器阈值策略低阈值才是夜间王道作者做了个有趣的实验不同阈值对夜间成像影响太大了高阈值虽然噪声少但会丢失大量场景信息低阈值虽然噪声多却能保留更多细节——只要算法够强就能把噪声压下去信息却能留下来。看这组对比低阈值Th-30重建的画面细节明显更丰富高阈值Th30直接把暗部信息丢光了当光照低于5 lx时低阈值的优势更是碾压级的所以夜间用低阈值强算法才是最优解实验结果全方位吊打现有方法作者在三个真实数据集上做了测试NER-Net的表现只能用“惊艳”来形容。先看定性对比在复杂夜间场景下其他方法不是有黑色伪影就是画面不自然而NER-Net重建的图像不仅干净细节还超丰富定量指标更能说明问题在MSE、SSIM、LPIPS等指标上NER-Net全都是第一尤其在真实夜间数据集上优势明显。消融实验也证明了每个模块的重要性LETC解决拖尾NSIE抑制噪声和不均匀性少了谁都不行总结夜间动态成像的新标杆这篇论文不仅造出了首个真实低光事件数据集RLED还提出了针对性的NER-Net网络从传感器设置到算法设计全方位优化让事件相机在夜间动态场景成像中大放异彩。以后不管是自动驾驶夜间导航还是安防监控夜间抓拍有了这项技术再也不用担心“拍不清”的问题了。期待这项技术早日落地让我们在黑夜中也能拥有“火眼金睛”下载1OpenCV-Contrib扩展模块中文版教程在「小白学视觉」公众号后台回复扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。下载2Python视觉实战项目52讲在「小白学视觉」公众号后台回复Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目助力快速学校计算机视觉。下载3人工智能0基础学习攻略手册在「小白学视觉」公众号后台回复攻略手册即可获取《从 0 入门人工智能学习攻略手册》文档包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源可以下载离线学习。交流群欢迎加入公众号读者群一起和同行交流目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群以后会逐渐细分请扫描下面微信号加群备注”昵称学校/公司研究方向“例如”张三 上海交大 视觉SLAM“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告否则会请出群谢谢理解~