红绿灯检测与识别算法的论文

2022年车主翘首以盼、车企们都在争夺的产品是什么？

城市辅助驾驶 ，带自主领航的那种。

为啥？

红绿灯路口、环路、人车混行都能自主应对，设置好导航，驾驶员就能完全解放，只扮演安全员的角色。

绝大部分车主最枯燥、最疲惫的驾驶体验，解决了。

但城市道路上辅助驾驶的落地难度，绝对可以称得上目前乘用车智能驾驶量产的“圣杯”。

异形目标、不同交通标识、模糊的车道线等等对感知能力挑战巨大；违规通行目标、复杂路口的博弈…对AI的认知决策能力要求，与L2不可同日而语。

所以，量产上车城市辅助驾驶，是实力和潜力的最好证明。

不过万万没想到，量产“第一”之名，花落老牌车企 长城 汽车 ，今年年中即将上市。

而去年年底，长城旗下的多款车型，已经率先量产了高速领航辅助驾驶。

这样的速度和成果，好像“不可思议”。

但背后的“秘籍”已经不是秘密：

毫末智行 。

“非典型”自动驾驶创业公司、中国最快量产智能驾驶产品、乘用车物流车双线并举…

毫末智行这家公司成立不到3年，率先在国内实现城市领航辅助功能量产，速度和力度都让业内吃惊。

AI Day现场的火热程度可见一斑。投资人、合作伙伴、AI技术大牛纷纷到场，主办方甚至要临时添加座椅。

大家好奇的，是这家自动驾驶公司到底有什么秘密？

城市道路上的领航辅助驾驶功能，去年开始不少主机厂或无人车公司都放出过Demo。

其中还包括华为、小鹏、以及特斯拉这样的明星公司。

不过毫末智行即将量产的城市NOH功能，号称首战即有这么几个“行业之先”。

中国率先量产的城市辅助驾驶 。如果之前各家的量产上车时间表不变，下半年长城 汽车 交付的魏牌摩卡车型，将是中国用户能买到的第一款有城市领航辅助的 汽车 。

率先在多种动力形式上实现城市辅助驾驶 。魏牌摩卡，既有燃油车，也有插混车型。另外下半年上市的欧拉纯电新车，也会搭载毫末智行城市NOH。

毫末智行董事长张凯

当然，毫末城市NOH，本身也打破了自动驾驶创业公司的记录。下半年量产上车，满打满算距离成立3周年。

对于这样的量产进度，毫末智行董事长张凯给出了这样的总结：

量产当然是实力体现，但只是一部分。

真正的功夫，还要看应对城市复杂路况是不是足够“老司机”，乘坐体感够不够舒适，最重要的，安全吗？

实车体验最能说明问题。

体验路线分布在北京顺义城区核心，全长公里，包括两个环岛、6个转弯，以及十几个红绿灯。

具体路况嘛，既有通畅的城市主干道，也有人车混行、较为混乱的路口。

按照场景的简单到复杂，我们把体验下来的毫末城市NOH实际表现分成这6个要点。

红绿灯识别的难度在于不同地区交通标示标准不一，这需要后台有一个尽可能完备的数据库供系统学习。

去每一个路口采集数据样本当然不现实，毫末采取的方法是通过图像合成和迁移学习，加快技术的迭代。

这其中，主要技术难题是真实数据和合成数据的混合训练问题。

通过图像合成技术可以扩大学习的样本量，但是真实和合成数据在特征空间及概率分布不一致，导致使用有效率大打折扣。

所以毫末使用了迁移学习中领域泛化的混合迁移训练方法，利用合成数据定向弥补真实场景中缺失的数据样本及不断调整训练策略，减小二者特征空间的概率分布差异。

有了足够的数据训练，就可以对路面上不同形式的红绿灯识别。

比如，在大路口场景中，红绿灯离车辆距离很远，在图像数据上目标更小更难以识别：

所以这样的场景从感知到决策，全方位的要求都很高。

除了能准确识别车道线，并根据导航选择合适路径，NOH还会动态避让其他加塞的车辆和行人，保障安全：

对于加塞的车辆或行人，NOH会根据目标速度、路径综合判断刹车、方向调整程度，不会猛然刹停，保证安全的前提下兼顾通行效率。

而且毫末NOH对于避让行人的原则贯彻到位，即使通过无人的路口或斑马线，也会提前减速。

无保护左右转，如今并不是一个难度极高的项目。不过毫末NOH表现的亮眼之处在于能处理多车道交互的复杂路口，包括正确识别交通灯和待转区。

这样的路口难度在于尺寸较大，首先是系统需要感知识别的范围更广，目标的数量和类型更多；相应的，其他目标出现违规行为的可能性也更高。

同是领航辅助，城市场景下的车道线识别和高速难度完全不同。

城市内车道线更加密集，种类更多，形式更为复杂，而且常常有污损情况。

面对这样的挑战，毫末智行设计了BEV Transfomer。

摄像头的数据传回后，首先对2D 图像用 Resnet + FPN 进行处理，之后进行BEV映射，这部分利用交叉注意力层 （Cross Attention） 来动态确定某一帧图像中的内容在相机所属 BEV 空间中的位置。

通过多个Cross Attention，最终组成一个完整的 BEV空间。

当视觉数据完成了在BEV的投射，就天然具备了和激光雷达点云图的融合能力。

最后，系统还会综合考虑BEV的 历史 数据，加入与时间有关的特征，进一步提升识别的准确率和连续性。

环岛对于自动驾驶系统来说一直是一个巨大的挑战。其中既有较为复杂的规则，还要根据导航路线择机干净利落地切入切出。

对于感知系统来说，准确识别车道线，还包括能分清楚环路的边界，之前特斯拉FSD测试时，常发生冲上中央路基的情况。

毫末NOH除了准确感知、识别环路，并根据导航选择合适路线。而且面对环岛中其他车辆短时间内数次变道的行为，也能准确识别和合理避让。

这一点的难度其实比平直路面大得多，因为连续大曲率的弯道，对于车辆的速度、转向精度要求更高。

城市场景难，其实不在复杂的车道线和交规，而是难在随时可能发生的不可预知的场景。

这些场景也是考验一个城市领航辅助系统是不是老司机的试金石。

比如，我们的试乘车本来正常直行通过一个十字路口，结果垂直车道一辆左转 汽车 先是闯红灯抢行，使得NOH紧急停车避让：

左转绿灯亮了以后，这辆车却停在超出待转区的十字路口中央不动了…而此时我们直行的绿灯已经转红。

我们有意没有接管，想看看NOH到底会怎么办。

紧急避让保证安全后，NOH用几秒时间确认抢行车停止不动，然后系统并没有受到直行绿灯转红的影响而停在路中间，确认安全后尽快通过路口：

换成人类司机，这其实也是唯一合理且安全的处理方式。

这套方案，除了软件算法全部由毫末智行自研，硬件方案中的自动驾驶计算平台也是毫末自研，算力达到360T。

对比来看，今年大部分车厂翘首以盼等交付的英伟达Orin芯片，是256T算力。

此外，传感器方面，量产NOH方案采用12个摄像头、5个毫米波雷达、2个激光雷达以及12个超声波雷达。

这就是中国首个量产城市辅助驾驶的真实情况，你感觉它够“老司机”吗？

毫末NOH的量产速度如此之快，甚至有业内人士表示百思不得解。

毫末曾经给自己的业务方法论，起了一个颇为神秘的名字：

自动驾驶思想钢印 。

不了解《三体》也没关系，毫末智行所谓的“思想钢印”，其实就是自动驾驶公司都绕不过去的 数据闭环能力 。

一般来说，自动驾驶数据闭环万变不离其宗，关键流程都是“数据收集处理-训练-部署-再收集”的循环，以此迭代升级AI司机的能力。

涉及到数据层面，总共三个过程：收集、处理、反馈。

只不过在毫末这里，加上了两个附加条件： 低成本 和 高速度 。

对应到毫末智行数据智能体系中，分别是数据的自动化处理程度，和模型快速验证。

AI Day上毫末智行CEO 顾维灏 介绍毫末最新的数据积累和应用情况：

数据的收集问题，毫末已经解决，但要让AI明白数据含义，还需要认知过程，解决从客观世界到驾驶动作的映射。

除了从实时数据上归纳影响驾驶行为的因素，系统还需要对照更大规模的数据样本来学习规律。

所以，数据处理的核心聚焦到 快速标注 上。

为此毫末研发了一个高效标注系统，应用无监督自动标注算法，这套系统从数据标注的底层入手，对大批量数据进行自动标注，再由人工校对后反馈给系统，不断提升准确性和效率，逐渐减少人力工作量。

目前，毫末已经有超过70%的数据由系统自动标注处理。

数据处理的自动化能力建设有什么意义？

随着 未来两年毫末智能驾驶系统装机量达到百万 ，人工标注数据的成本即使按元一公里来算，也会迅速上升到数亿甚至十亿级别。

别说创业公司，国内车企自主三强每年净利也不过几十亿，这条路显然是走不通的。

所以，建立数据闭环其实不难，真正能持续下去的是“低成本获取数据”。

数据处理好之后，已经可以喂给算法进行训练，那么训练好的模型，如何验证效果？

尤其是在短时间对多个功能进行不同升级后，如果把所有版本依次拿到实车上跑一遍，然后再开发下一个版本…自动驾驶可能就永无实现之日了。

所以要把把验证工作放在仿真系统中进行。

毫末智行将每一次路测都还原为仿真中的“元宇宙”，同一场景下不同光照、不同天气，不同曝光条件都可在系统中调整，由此来模拟算法在不同工况下的表现。

这样的流程，其实也可以理解成算法迭代的自动化，对应着思想钢印中的“高速度”。

毫末智行这一套数据智能体系，叫 雪湖 ，也叫 MANA 。

痴迷《三体》的毫末工程师们以此命名，含义是像面壁者逻辑掉入雪湖后参悟黑暗森林法则一样，从MANA开始，毫末也掌了握自动驾驶的核心能力。

在MANA系统的加持下，毫末智行的“AI司机”，已经不间断训练驾驶技巧长达20万小时，虚拟驾龄已相当于人类司机2万年的驾驶时长。

毫末智行的高速、城市NOH快速上线，业内看起来好像“开挂”一般，但了解深层原因后并不匪夷所思。

本质就是高度自动化的数据智能能力，保证了AI老司机能力快速迭代的基本条件，再加上长城 汽车 的大规模量产渠道。

所以，讨论“毫末现象”的核心其实应该是：毫末智行的经验和模式，可以被其他无人车初创公司复制吗？

自动驾驶创业，毫末是最特殊的一个。

成果、技术给行业什么样的启示？至少能总结出三个方法论。

首先是 大船放小船 。

你可以说毫末智行是长城 汽车 旗下，但它却不属于长城 汽车 上市集团。

长城入股但不直接管理，让毫末智行以 科技 公司的效率和灵活性运营，不受大集团业务流程所累，激发创造力。

同时，长城 汽车 又保持了一个车圈老大哥的“大度”，允许毫末智行公开融资、IPO，团队的积极性也有了充分保障。

第二是长城 汽车 给毫末智行提供规模量产的渠道 ，这种“kick start”也是毫末智行进度惊人的基础。

更出乎意料的是，长城 汽车 没有把毫末智行的产品指定成“专供”，反而鼓励毫末团队去市场扩展其他的主机厂客户。

毫末智行董事长 张凯 在AI Day上介绍了毫末的开放合作原则：

从全栈解决方案到源代码，这6个产品层面毫末智行都可以开放合作。

这也让毫末未来的业务规模和技术迭代有了更大的空间。

最后一点，也是最重要的，是毫末智行本身的数据闭环能力 。

海量数据涌进系统，数据的存储、传输，以及数据处理的人工、时间其实都是成本，毫末智行的数据智能体系，针对每个可能的成本产生环节，都有专门的优化机制。

很难相信这是不到3年时内摸着石头过河 探索 出来的，更像是一开始就规划好的布局。

与车厂的紧密联系、数据闭环能力、大规模上量的渠道…这些是毫末智行模式最基础的3个方法论。

自动驾驶创业公司能不能复制？

当然可以。

与车厂建立紧密联系不难，事实上几乎所有老牌车企都迫切转型，有团队有技术的无人车公司不乏青睐。

所以量产渠道这个问题至少表面上看不难解决。

但深度绑定之后自身的前景和潜力会不会被限制？小船到最后会不会成大船的一块“木板”？

毕竟像长城 汽车 这样开放的车企不多，更多主机厂倾向于紧紧攥住自己的“灵魂”不撒手。

更关键的是，硬核实力够不够，能不能像毫末一样建立起一套高度自动化的低成本数据智能技术体系？

这一点，可能唯有实现那一刻才算证明。

所以，毫末智行确实给自动驾驶创业提供了另一种可以践行模式。

其他无人车创业公司可以照搬，只是要做到毫末智行的程度，实力、机遇缺一不可。

本文将对论文 Towards End-to-End Lane Detection: an Instance Segmentation Approach 进行解读。这篇论文是于2018年2月挂在arxiv上的。        文中提出了一种端到端的车道线检测算法，包括LaneNet和H-Net两个网络模型。其中，LaneNet是一种将 语义分割 和 对像素进行向量表示 结合起来的多任务模型，负责对图片中的车道线进行 实例分割 ；H-Net是由卷积层和全连接层组成的网络模型，负责预测转换矩阵H，使用转换矩阵H对属于同一车道线的像素点进行回归（我的理解是对使用坐标y对坐标x进行修正）。        根据论文中的实验结果，该算法在图森的车道线数据集上的准确率为，在NVIDIA 1080 TI上的处理速度为52FPS。        如图1所示，对于同一张输入图片，LaneNet输出实例分割的结果，为每个车道线像素分配一个车道线ID，H-Net输出一个转换矩阵H，使用转换矩阵H对车道线像素进行修正，并对修正的结果拟合出一个三阶的多项式作为预测得到的车道线。       论文中将实例分割任务拆解为 语义分割 和 聚类 两部分，如图2所示，LaneNet中decoder分为两个分支，Embedding branch对像素进行嵌入式表示，训练得到的embedding向量用于聚类，Segmentation branch负责对输入图像进行语义分割（对像素进行二分类，判断像素属于车道线还是背景）。最后将两个分支的结果进行结合得到实例分割的结果。 在设计语义分割模型时，论文主要考虑了以下两个方面： 1.在构建label时，为了处理遮挡问题，论文对被车辆遮挡的车道线和虚线进行了还原； 2. Loss使用 交叉熵 ，为了解决样本分布不均衡的问题（属于车道线的像素远少于属于背景的像素），参考论文 ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation  ，使用了boundedinverse class weight对loss进行加权: 其中，p为对应类别在总体样本中出现的概率，c是超参数（ENet论文中是，使得权重的取值区间为[1,50]）。        为了区分车道线上的像素属于哪条车道，embedding_branch为每个像素初始化一个embedding向量，并且在设计loss时， 使得属于同一条车道线的像素向量距离很小，属于不同车道线的像素向量距离很大 。 这部分的loss函数是由两部分组成：方差loss(L_var)和距离loss(L_dist)： 其中，x_i为像素向量，μ_c为车道线的均值向量，[x]+ = max(0,x)         为了方便在推理时对像素进行聚类，在图4中实例分割loss中设置δ_d > 6*δ_v。         在进行聚类时，首先使用mean shift聚类，使得簇中心沿着密度上升的方向移动，防止将离群点选入相同的簇中；之后对像素向量进行划分：以簇中心为圆心，以2δ_v为半径，选取圆中所有的像素归为同一车道线。重复该步骤，直到将所有的车道线像素分配给对应的车道。        LaneNet是基于 ENet 的encoder-decoder模型，如图5所示，ENet由5个stage组成，其中stage2和stage3基本相同，stage1,2,3属于encoder，stage4,5属于decoder。        如图2所示，在LaneNet中，语义分割和实例分割两个任务 共享stage1和stage2 ，并将stage3和后面的decoder层作为各自的分支(branch)进行训练；其中， 语义分割分支(branch)的输出shape为W*H*2，实例分割分支(branch)的输出shape为W*H*N，W,H分别为原图宽和高，N为embedding vector的维度；两个分支的loss权重相同。         LaneNet的输出是每条车道线的像素集合，还需要根据这些像素点回归出一条车道线。传统的做法是将图片投影到鸟瞰图中，然后使用2阶或者3阶多项式进行拟合。在这种方法中，转换矩阵H只被计算一次，所有的图片使用的是相同的转换矩阵，这会导致地平面（山地，丘陵）变化下的误差。         为了解决这个问题，论文训练了一个可以预测转置矩阵H的神经网络H-Net， 网络的输入是图片 ， 输出是转置矩阵H ：         由图6可以看出，转置矩阵H只有6个参数，因此H-Net的输出是一个6维的向量。H-Net由6层普通卷积网络和一层全连接网络构成，其网络结构如图7所示： Curve fitting的过程就是通过坐标y去重新预测坐标x的过程：LaneNet和H-Net是分别进行训练的。在论文的实验部分，两个模型的参数配置如下所示： •    Dataset : Tusimple •    Embedding dimension = 4 •    δ_v= •    δ_d=3 •    Image size = 512*256 •    Adam optimizer •    Learning rate = 5e-4 •    Batch size = 8 •    Dataset : Tusimple •    3rd-orderpolynomial •    Image size =128*64 •    Adam optimizer •    Learning rate = 5e-5 •    Batch size = 10