一种基于深度学习的远光灯车辆抓拍方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111310738 A(43)申请公布日 2020.06.19

(21)申请号 202010240833.0(22)申请日 2020.03.31

(71)申请人 青岛讯极科技有限公司

地址 266100 山东省青岛市崂山区深圳路

163号交通创客工场109室(72)发明人 刘建　(51)Int.Cl.

G06K 9/00(2006.01)G06K 9/20(2006.01)G06K 9/32(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书1页 说明书5页 附图3页

()发明名称

一种基于深度学习的远光灯车辆抓拍方法(57)摘要

本发明公开了一种基于深度学习的远光灯车辆抓拍方法，摄像头、视频处理模块、图像处理模块、远光灯识别模块以及目标跟踪模块，实现对车辆的远光识别抓拍。本发明技术方案无需使用硬件检测装置，在一定程度上节省了成本的消耗，操作简单便捷，并且工作人员只需要对交通摄像机视频流进行处理即可完成远光灯检测和抓拍；采用基于深度学习的目标检测技术对远光灯进行检测，这样不仅提高了检测率，而且鲁棒性好，能够适应各种夜间照明条件和路段环境，满足了不同环境的作业需求，扩大了适用范围；引入跟车、会车场景的判别，补充和完善了现有的远光灯抓拍技术存在的不足之处，使执法证据的充分性和合理性得到大幅提升。

CN 111310738 ACN 111310738 A

权　利　要　求　书

1/1页

1.一种基于深度学习的远光灯车辆抓拍方法，其特征在于：包括摄像头、视频处理模块、图像处理模块、远光灯识别模块以及目标跟踪模块，实现对车辆的远光识别抓拍，整体为以下六个步骤：

步骤一：所述摄像头对车辆进行拍摄，视频处理模块从摄像头获取视频图像；步骤二：所述图像处理模块截取视频图像中的远光灯检测区域；步骤三：所述远光灯识别模块检测远光灯检测区域存在远光灯的车辆；步骤四：所述摄像头对车辆进行拍摄记录车辆信息，并记录存在问题的目标车辆，目标跟踪模块对目标车辆进行跟踪；

步骤五：所述目标跟踪模块跟踪过程中，图像处理模块截取目标车辆的跟车、会车检测区域的图像；

步骤六：所述图像处理模块根据当前车灯区域位置截取对应的跟车与会车检测区域，并将其传送至跟车、会车检测模块，跟车、会车检测模块在夜间检测车辆的前照灯与车尾灯。

2.根据权利要求1所述的一种基于深度学习的远光灯车辆抓拍方法，其特征在于：所述图像处理模块实时接收到视频帧，截取画面中固定大小的矩形区域传输至远光灯识别模块。

3.根据权利要求1所述的一种基于深度学习的远光灯车辆抓拍方法，其特征在于：所述远光灯识别模块采用基于深度学习的远光灯检测模型。

4.根据权利要求1所述的一种基于深度学习的远光灯车辆抓拍方法，其特征在于：所述目标跟踪模块以目标远光灯区域作为初始化跟踪区域，并在跟踪过程，实时计算当前车灯区域位置以及车灯亮度和形态特征是否发生变化，最后将车灯区域传送至图像处理模块。

5.根据权利要求1所述的一种基于深度学习的远光灯车辆抓拍方法，其特征在于：所述远光灯识别模块与跟车、会车检测模块工作时调用已训练好的基于改进YOLOv3的多目标检测模型，对检测区域的车灯进行检测。

6.根据权利要求5所述的一种基于深度学习的远光灯车辆抓拍方法，其特征在于：所述改进的YOLOv3网络由5个残差模块组成，每个残差模块又由多个残差组件堆叠而成。

2

CN 111310738 A

说　明　书

一种基于深度学习的远光灯车辆抓拍方法

1/5页

技术领域

[0001]本发明涉及道路交通安全技术领域，具体为一种基于深度学习的远光灯车辆抓拍方法。

背景技术

[0002]随着我国道路交通建设事业的迅速发展，道路交通安全问题也越来越突出，特别是机动车驾驶人夜间行驶时不按规定使用远光灯的行为，已成为引发夜间交通事故的主要原因，传统的远光灯检测技术通常是利用硬件装置进行检测的，这种方法虽然检测速度快、捕获率高，但仍具有一定的局限性，体现在硬件检测装置上的安装困难和环境的自适应性较差等方面。近年来，随着深度学习技术的不断发展，许多基于深度学习的目标检测算法被提出，将基于深度学习的目标检测算法应用到远光灯识别任务上，能有效地解决传统远光灯检测方法安装困难和虚警率高等问题，并且能进一步判别目标车辆是否在会车、跟车场景下违规使用远光灯。

[0003]目前国内外未见对目标车辆（开启远光灯车辆）会车与跟车场景判别原理和方法的研究，而对远光灯抓拍原理和方法的研究，主要包括以下几种：

采用远近光灯的形状特征不同作为判断依据，但此类方法是建立在传统夜间车灯检测基础之上的，简单地使用阈值分割来获取视频图像中的灯光区域，误差较大，而且没有很好地适用性；

采用远近光灯的光照强度不同作为判断依据，但此类方法对车灯和环境光光照强度要求较高，首先，夜间道路灯光环境复杂，路灯、地面和雨雪反射光等噪声的影响都会对车灯强度造成干扰；其次，不同车灯类型，其发出的光照强度也是不一样的；

采用远近光灯的直射角度不同作为判断依据，但此类方法对检测装置的安装角度和车辆车灯的照射角度要求较高，首先，不同车辆的车灯，其远近光灯的直射角度各不相同；其次检测装置需要安装至一个只能接收远光灯入射光的理想位置，难度较大。[0004]现有的利用硬件装置对远光灯进行检测的方法，由于检测方式的不可视化，安装和调试难度较大，特别是采用远近光灯直射角度的不同作为判断依据的抓拍装置，容易受道路平坦度的影响，适应性较差。

[0005]浙江安谐提出一种利用高曝光相机，来获取视频图像中的灯光区域，然后根据特定车型的远光灯形态学特征，对车灯区域进行分类的远光灯识别方法，该方法虽有效地避免了非光源噪声的影响，但也抑制了远光灯亮度高、光晕大的特点，使远近光灯的区别消失，因此，该方法在远光灯识别上，只对双灯筒车型进行检测，检测率非常低。

[0006]专利CN106934378A提出了一种基于视频深度学习的汽车远光灯识别系统及方法，但该系统所述深度学习模块是基于CNN+LSE方法，在实现上采用了简单的LeNet5网络结构，对于复杂的问题处理结果并不理想；其次，该方法只是对视频关键帧进行了分类输出，并未对目标车辆进行检测与标记。[0007]此外，现有的远光灯抓拍方法只是单纯的对车辆开启远光灯状态进行判断，而没

3

CN 111310738 A

说　明　书

2/5页

有进一步判断目标车辆（开启远光灯车辆）是否在跟车或会车场景下开启远光灯。

发明内容

[0008]本发明的目的在于提供一种基于深度学习的远光灯车辆抓拍方法，以解决上述背景技术中提出的问题。[0009]为实现上述目的，本发明提供如下技术方案：

一种基于深度学习的远光灯车辆抓拍方法，包括摄像头、视频处理模块、图像处理模块、远光灯识别模块以及目标跟踪模块，实现对车辆的远光识别抓拍，整体为以下六个步骤：

步骤一：所述摄像头对车辆进行拍摄，视频处理模块从摄像头获取视频图像；步骤二：所述图像处理模块截取视频图像中的远光灯检测区域；步骤三：所述远光灯识别模块检测远光灯检测区域存在远光灯的车辆；步骤四：所述摄像头对车辆进行拍摄记录车辆信息，并记录存在问题的目标车辆，目标跟踪模块对目标车辆进行跟踪；

步骤五：所述目标跟踪模块跟踪过程中，图像处理模块截取目标车辆的跟车、会车检测区域的图像；

步骤六：所述图像处理模块根据当前车灯区域位置截取对应的跟车与会车检测区域，并将其传送至跟车、会车检测模块，跟车、会车检测模块在夜间检测车辆的前照灯与车尾灯。

[0010]进一步，所述图像处理模块实时接收到视频帧，截取画面中固定大小的矩形区域传输至远光灯识别模块。[0011]进一步，所述远光灯识别模块采用基于深度学习的远光灯检测模型。[0012]进一步，所述目标跟踪模块以目标远光灯区域作为初始化跟踪区域，并在跟踪过程，实时计算当前车灯区域位置以及车灯亮度和形态特征是否发生变化，最后将车灯区域传送至图像处理模块。[0013]进一步，所述远光灯识别模块与跟车、会车检测模块工作时调用已训练好的基于改进YOLOv3的多目标检测模型，对检测区域的车灯进行检测。[0014]进一步，所述改进的YOLOv3网络由5个残差模块组成，每个残差模块又由多个残差组件堆叠而成。

[0015]与现有技术相比，本发明技术方案带来的有益效果是：

（1）无需使用硬件检测装置，在一定程度上节省了成本的消耗，操作简单便捷，并且工作人员只需要对交通摄像机视频流进行处理即可完成远光灯检测和抓拍；

（2）采用基于深度学习的目标检测技术对远光灯进行检测，这样不仅提高了检测率，而且鲁棒性好，能够适应各种夜间照明条件和路段环境，满足了不同环境的作业需求，扩大了适用范围；

（3）引入跟车、会车场景的判别，补充和完善了现有的远光灯抓拍技术存在的不足之处，使执法证据的充分性和合理性得到大幅提升，更加便于交通部门对车辆进行管制。

4

CN 111310738 A

说　明　书

3/5页

附图说明

[0016]图1为本发明的具体工作流程示意图；

图2为本发明的远光灯识别模块与跟车、会车检测模块中的远光灯检测区域、跟车区域、会车区域示意图。

[0017]图3为本发明的跟车、会车检测模块具体工作流程图。[0018]图4为本发明的远光灯识别模块与跟车、会车检测模块网络结果示意图。具体实施方式

[0019]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0020]在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。[0021]在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。[0022]实施例1

请参阅图1-1，本发明提供的实施例：一种基于深度学习的远光灯车辆抓拍方法，包括摄像头、视频处理模块、图像处理模块、远光灯识别模块以及目标跟踪模块，实现对车辆的远光识别抓拍，整体为以下六个步骤：

步骤一：所述摄像头对车辆进行拍摄，视频处理模块从摄像头获取视频图像，通过调用摄像头SDK，实时获取摄像头视频流；

步骤二：所述图像处理模块截取视频图像中的远光灯检测区域；步骤三：所述远光灯识别模块检测远光灯检测区域存在远光灯的车辆，远光灯识别模块工作时调用已训练好的基于改进YOLOv3的多目标（远光灯、前照灯和车尾灯）检测模型，对被检测区域进行检测，得到车辆远光灯的边界框和置信度，通过设置置信度的阈值，可进一步过滤非远光灯区域，最后将车辆远光灯边界框传送至目标跟踪模块；

步骤四：所述摄像头对车辆进行拍摄记录车辆信息，并记录存在问题的目标车辆，目标跟踪模块使用Staple跟踪算法（Staple跟踪算法在本领域的专业书籍或者是论文中均可检索到）对目标车辆车灯区域进行跟踪；

步骤五：所述目标跟踪模块跟踪过程中，图像处理模块截取目标车辆的跟车、会车检测区域的图像，检测作业时，判别目标车辆是否跟车行驶，只需要判断目标车辆前方是否有车辆行驶；而判别目标车辆是否与对向车道会车行驶，只需要判断对向车道是否有车辆行驶，

5

CN 111310738 A

说　明　书

4/5页

通过引入跟车、会车场景的判别，将使执法人员的执法过程变得有理有据；

步骤六：所述图像处理模块根据当前车灯区域位置截取对应的跟车与会车检测区域，并将其传送至跟车、会车检测模块，跟车、会车检测模块在夜间检测车辆的前照灯与车尾灯。

[0023]进一步，图像处理模块实时接收到视频帧，截取画面中固定大小的矩形区域传输至远光灯识别模块，由于车辆远光灯在远处区域光照较为耀眼，视觉上区分效果明显，截取部分区域用于远光灯识别将有利于提高远光灯检测率，而且检测区域的缩小也有利于提高检测速率，在初次安装过程，需要调试人员人为画定远光灯检测区域，一般位于被检测车道上半部分。

[0024]进一步，所述远光灯识别模块采用基于深度学习的远光灯检测模型，摈弃了传统的硬件装置检测方式，由于使用卷积神经网络提取特征的方法的泛化能力远高于传统的人工特征提取方法，使得模块检测的准确率大为提升，并且能够适应各种路段环境。[0025]进一步，所述目标跟踪模块以目标远光灯区域作为初始化跟踪区域，并在跟踪过程，实时计算当前车灯区域位置以及车灯亮度和形态特征是否发生变化（持续开启判别），最后将车灯区域传送至图像处理模块。[0026]进一步，所述远光灯识别模块与跟车、会车检测模块工作时调用已训练好的基于改进YOLOv3的多目标（远光灯、前照灯和车尾灯）检测模型，对检测区域的车灯进行检测，若跟车区域检测出前照灯且置信度高于阈值，可判断目标车辆存在跟车行驶行为；若会车区域检测出车尾灯且置信度高于阈值，可判断目标车辆存在与对向车道车辆会车行驶行为，与现有的远光灯抓拍技术相比，本发明方法将远光灯、前照灯和车尾灯检测集中在一个检测模型，实现了远光灯抓拍与会车、跟车场景判别的融合，减少了网络模型训练的难度，提高了效率。

[0027]实施例2

（1）根据步骤三（远光灯识别模块检测远光灯检测区域存在远光灯的车辆）、步骤六（图像处理模块根据当前车灯区域位置截取对应的跟车与会车检测区域，并将其传送至跟车、会车检测模块，跟车、会车检测模块在夜间检测车辆的前照灯与车尾灯）所用的网络结果如图1-2所示。[0028]（2）本发明采用的改进YOLOv3特征提取网络由5个残差模块组成，每个残差模块又由多个残差组件堆叠而成。为了实现快速的车辆远光灯检测，首先本发明在不影响网络模型准确率的同时，对YOLOv3网络各卷积层的维数进行了调整，将原来网络的宽度减小为原来的1/2，使得改进YOLOv3网络参数和计算开销大幅度下降。其次通过增大输入图像尺寸的方式来提高视频中远处车辆远光灯的检测率。接着对降维后的YOLOv3网络的残差组件进行改进，改用标准的残差组件来代替原网络中bottleneck结构的残差组件，以增强网络的特征提取能力。[0029]（3）模型检测时，首先对尺寸为512x512的输入图像进行过滤，并使用一个步长为2的32维3x3卷积进行下采样；然后将特征图（256X256）输入至特征提取网络进行特征提取，得到X、32X32和16X16三种不同尺度的特征图；最后，以2倍步长对该特征金字塔执行上采样操作，与前面的深度残差网络进行融合，形成最终的深度融合多目标（远光灯、前照灯和车尾灯）检测模型。

6

CN 111310738 A[0030]

说　明　书

5/5页

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在

不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为所涉及的权利要求。

7

CN 111310738 A

说　明　书　附　图

1/3页

图1

图2

8

CN 111310738 A

说　明　书　附　图

2/3页

9

图3

CN 111310738 A

说　明　书　附　图

3/3页

图4

10