|
|
（4）
其中（i,j）是像素的位置，k是实验确定的参数，范围是0-1。到目前为止，对于室内、室外下雨所拍摄的图像，k最佳的值是0.3；对于雾天和模糊的图像，k最佳的值是0.2；对于夜间图像，k最佳的值是0.075，这给每个图像集确定了最大的车牌检测概率。图9显示的几何平均图像M，标准偏差图像SD和二进制图像B1作为汽车图像的输入。在式（4），我们比较的标准偏差（第二阶）和平均值（第一阶）。其原因是我们要满足局部的标准偏差（改变强度）高，但局部的平均值（平均强度）低。因此，对图像B1进行二值化处理时，它使得像素强度值低（暗区）的区域可见，但强度的变化在灰度图像的G3是高的。同时，它避免了区域的像素强度值很高（亮区）。这样，可以减少二值化图像中的白色区域。该方法同样适用于黑底白字的车牌，因为在黑色或接近黑色的背景上的平均值较低。如果图像中包含白底黑字的车牌，那么我们需要把它的值取反后作为二值输入。在式（4），我们也将平均值与系数k相乘。k的取值范围是0-1。在二值化处理过程中，较小的k值会减小平均值，这意味着它将满足上述条件中的低标准偏差值。另一方面，较大的k值会增加平均值，这意味着它将满足上述条件中的高标准偏差值。因此，对于低对比度的图像，我们需要使用较小的k值；对于高对比度的图像，我们需要使用较大的k值。
如果我们仔细观察二进制图像B1，我们看到它根据局部不规则量（强度转换）来选择白色像素。在车牌区域内强度转换的量很高，所以二值化过程会在车牌区域产生一个高密度的白色像素区域。事实上，这种二值化过程将检测到颜色改变时的边界，并增加被低强度区域包围的高强度区域边界的宽度。为了看到二值化处理的过程，我们通过创建一个简单的图像来将其展示。图10展示了在二值化处理前后的图像。如果我们仔细观察，就会发现在经过二值化处理后，它会检测边界并增大边界的宽度。这里的边界宽度取决于窗口的大小。由于车牌中的字符存在边界，经过二值化处理后输出的二值化图像B1中出现了高密度的白色像素区域。在孟加拉国的大多数车牌是双列的，我们的图像数据集包含两条线之间的平均像素距离为7的图像。因此，为了在二值化处理中把两行连接在一起，我们使用大小为s＝7的窗口。
在提出的车牌自动识别方法中，第二阶段解决了所有的低对比度问题，如模糊、雾天、晚上和室内的环境条件。图11显示去除图像G2噪声的例子，它们的二进制版本将在第二阶段之后还会用到。在下一阶段，我们使用二进制图像B1作为输入图像来定位候选车牌区域。
3.3.局部计数滤波器和CCC
3.3.1.局部计数滤波器
在第三阶段的开始，我们将局部计数滤波器应用在二进制图像B1中的高密集白色区域和小的空白点。在大小为S×S的窗口中可以看到二进制图像B1的卷积和白色像素的数量。如果局部窗口中的大于50%的像素点包含白色像素，则在中心像素位置设置为1，否则清0。经过卷积，我们成功得到改变后的二进制图像（B2）。在使用计数滤波器时，该窗口的大小是普通车牌的一半高度，因为二进制图像B2的车牌候选区域含有高密集的白色区域。我们的图像集的平均高度是40像素，因此窗口大小S是20。图12是给出的经过计数滤波后的二进制图像。
3.3.2. 形态学开放算法
在使用剪切连接组件（CCC）之前，我们需要去除小的白色区域，车牌延伸外的地区和大的白色对象之间的连通。我们先使用CCC（腐蚀后膨胀）对二进制图像B2进行滤波的同时使用圆盘作为结构元素。圆盘的半径取决于车牌区域的大小。然后在实验中，我们使用一个圆盘半径为20像素（车牌高度的一半）进行开放操作。图12（c）中给出了二进制图像B3经过CCC处理后的例子。
3.3.3.剪切连接的组件
在二进制图像B3中，我们标记了所有基于8-neighboring连接的二进制连接要素。二进制图像B3包含了大量连接的要素。图13（a）显示了一个所有要素标记为C1、C2、C3、C4和C5的二进制图像B3的例子。基于组件的区域，我们采用矩形裁剪来增强图像G3的对比度。在裁剪图像G3的矩形时，我们考虑的最小行和列的值基于图像B3组件矩形的左上角点，最大行和列的值基于图像G3组件矩形的右下角点。在裁剪之后，我们有许多车牌候选区域。图13（b）显示所有的局部矩形区域（白色方框）标记为LP1、LP2、LP3、LP4、LP5。在这些车牌候选区域中，仅有一个是实际的车牌区域。在下一阶段需要一个质量好的滤波或分析方法来找到真正的车牌区域。
3.4.倾角检测与校正
在提出的车牌自动识别方法中，我们认为车牌倾斜同样是其中存在的问题之一。我们建议的倾斜校正方法用来检测水平倾斜角度在0 - 30°范围内的倾斜，以及倾斜校正。之后，检测到的倾斜角度也可用于非车牌区域滤波。
3.4.1.Bernsen的二值化和候选车牌的周长
为了检测倾斜角度，首先我们使用二倍的周长对候选的车牌区域进行裁剪。由于检测灰度信息的倾斜角度是没有必要的，只有边界或边缘二进制格式的信息是有效的。因此，我们采用Bernsen的二值化方法和15×15的窗口（经验值）对灰度图像或候选车牌区域（LP1；2；3；LP4等等）进行处理，然后生成所需的图像。我们将Bernsen作为中间的步骤，因为它能在光照不均匀的图像环境下正常工作，如暴露和阴影。图14展示了一些候选的车牌区域的图像，同时还有经过Bernsen二值化和周长处理后的图像。
,复杂环境下的车牌自动检测
——Samiul Azam, Md Monirul Islam
Samiul Azam:
加拿大阿尔伯塔省的卡尔加里大学计算机科学系.
Md Monirul Islam:
孟加拉国达卡的孟加拉工程技术大学计算机工程与科学系
关键词：
车牌自动检测、复杂环境、下雨、雾天、水平倾斜、低对比度图像、傅里叶变换
摘要：
车牌自动检测是指在没有人参与的情况下实现对图像中车牌所在区域的定位操作。到目前为止，已经有很多方法被用来自动检测车牌，但是大多数都没有考虑在实际驾驶中存在的各种不利因素。不利的图像因素意味着图片中可以包含下雨、大雾、低对比度以及背景和车牌相似或者水平倾斜的车牌区域。这些问题给发展有效的车牌自动检测手段带来了很大的挑战。在本文中，我们提出了一种新的自动检测车牌的方法，它能够在含有复杂状况的图片中有效地定位车牌的区域。对于下雨的影响，我们采用频域掩模的方法来过滤图像中下雨所造成的条纹。对于低对比度的室内、晚上、雾天等情形，自动车牌检测中采用了一种通过统计的二值化方法来增强对比度。对于倾斜的车牌区域，我们应用基于Radon变换来实现倾斜校正。此外，为了过滤去除非LP区域，提出了一种基于图像熵的新情形。我们用所提出的方法对850辆汽车在复杂环境下的图片进行了测试，其结果令人非常满意。
1、介绍
车牌自动检测是指在没有人介入的情况下实现从图片中对车辆牌照区域的获取。这对于车牌自动识别系统来说是非常重要的一部分。总体来说，车牌自动识别系统主要分为以下三个阶段：(1)使用图像采集设备获取汽车的图片；(2)从图像中定位车牌的准确区域；(3)从车牌区域提取并识别特征信息。图1展示的是车牌自动识别系统的基本框架。该系统的目的是通过图像或视频中包含的车牌信息来自动识别车辆。在车牌自动识别系统中，大量的摄像机被安装在路标、路灯、建筑物、立交桥等地方，以此来捕获有关车辆的图像。然后将图像信息传输给计算机，计算机通过软件分析定位车牌在图像中的位置信息。这些车牌信息既能够立刻使用也可以存储后供将来使用。车牌自动识别系统在我们现实的生活中有着广泛的应用，如：交通管理、车辆识别、交通模式分析、自动收费、停车管理等等。
在车牌自动识别系统中，车牌检测定位最为关键，它会直接影响整个系统的性能。在检测阶段，我们需要解决一系列的问题，例如：(1)复杂的天气条件（下雨、大雾）；(2)复杂的图像背景（存在非车牌的对象）；(3)低对比度的环境（室内、夜晚、模糊、光照不均匀）；(4)由于摄像机位置导致车牌图像的水平倾斜。这些问题都可能在复杂的环境条件下出现。图2展示了在复杂环境下的汽车图像的例子。因此车牌自动识别是一个具有挑战性的研究课题。此前，很多人曾努力建立一个完整的车牌自动识别系统，但是他们却回避了车牌检测中存在的大部分问题，这使得该系统在车牌检测方面受到很大的限制。因此，一个考虑全面的车牌检测方法对于车牌自动识别系统来说是很有必要的。在本文中，我们只关注如何从汽车图片中自动识别车牌的区域，而不考虑车牌自动识别系统中图像的采集和识别步骤。其中，拍摄图像的复杂环境条件是我们关注的中心。我们的目标是设计一个车牌自动检测的方法，它对于简单或复杂的图像输入都具有很好的表现。
本文的结构如下所示：第2节，简要描述了现有的几种车牌自动检测方法的局限性；第3节，提出更完善的车牌自动检测方法；第4节，展示所提出的车牌自动检测方法在实验中的表现和结果；第5节，对于所做的工作进行总结，并提出一些意见和建议。
2、文献回顾
在过去的十年中，人们致力于从图像或视频中检测潜在的车牌区域。不同国家的最先进的方法适用于不同的图像处理方法、技术和算法，从而建立他们自己的车牌自动识别方法。为了从图像中检测出车牌的区域，需要根据车牌的几何、纹理、颜色等特征进行综合分析。值得注意的是：复杂的条件会影响车牌的特征，导致车牌检测的误差增大。其中，图像中的雨条纹会造成不必要的不规则和边缘密度。低对比度环境（夜间、室内、雾天、模糊）降低了车牌字符、车牌边界的可见性，并使得车牌的前景颜色发生了变化。这意味着它影响了车牌的几何、纹理和颜色特征。由于摄像机的位置和角度，捕获图像中的车牌区域可能是水平倾斜的，这会影响到车牌区域的几何特征。因此，基于几何特征的车牌区域检测非常困难。在捕获的图像中常常存在其它的物体，如：前照灯、保险杠、汽车的logo等。复杂的背景导致在车牌自动识别中选择原始车牌区域时出现模棱两可的情况。经过检查，我们发现现有的最先进的车牌自动识别方法没有全面地考虑所有的复杂条件。在表1中总结了几种最先进的车牌自动识别方法的所依赖的技术以及在复杂条件下的局限性。此外，对于一些存在的商业用途的车牌自动识别系统，由于严格监管导致我们无法获取其技术和性能信息。
从表1，我们看到现有的车牌自动识别方法都不能解决气象条件的问题。其中有一种方法考虑了车牌的倾斜问题，但是其解决方案影响了字符的连通性和噪音。很多人在研究车牌自动识别过程中有考虑车牌的倾斜问题，但是他们认为倾斜车牌的定位和校正方法还没有被发现。所有其它方法仅考虑了车牌零倾斜或略微倾斜的情况，并没有具体的方法去处理倾斜的车牌。大部分现有的车牌自动识别方法[10,12–14,20–22,25–27]认为输入的图像本身具备良好的对比度和亮度。所以他们没有采取任何增强对比度的措施。只有方法[16,18]使用增强对比度的方法提高整个图像的对比度，这对于低对比度（夜间、模糊）的车牌区域是无效的。方法[9,11,15,19,23,24,28–30]考虑了输入图像光照不均匀、低对比度等问题，但没有全面考虑复杂的条件。从背景中去除非车牌区域时，大多数现存的方法是根据车牌的大小、纵横比以及方向作为过滤的条件。方法[10]采用欧拉数作为去除非车牌区域的条件，但是它无法处理由于噪音增加或减小所引起的白点。方法[11,13–15,19,26]使用水平强度转换计数或边缘密度作为过滤条件，而事先没有使用任何噪声滤波和对比度增强方法。在方法[9,23]中通过模板匹配来区分子图像的车牌区域和非车牌区域，这不仅会浪费时间同时对采集的子图像有较高的要求。字符搜索方法被应用在[27]中，这同样会造成时间的浪费。车牌的颜色可以作为识别车牌区域的一个依据，但它对光、强光、阴影非常敏感。所以有效滤波仍然需要更多的滤波标准。总的来说，现有的车牌自动识别方法在判断复杂条件下的图像时有很大的局限性。根据实际情况，我们提出了一种能在复杂环境下有效检测车牌区域的新方法。这种车牌自动识别系统是基于车牌的颜色、位置和语言是不会变化的。它可以用于任何现有的车牌自动识别系统。本文的创新工作如下：（1）从图像中更快的去除无关区域；（2）采用Tamura改进对比度以适应直方图均衡化（CLAHE）；（3）低对比度图像采用一种新的统计的二值化方法；（4）采用Radon变换对车牌的倾斜角度进行检测和校正，它对于字符的连通性并不敏感；（5）根据非车牌区域的熵的检测作为新的过滤条件。下面的章节将会详细解释新提出的车牌自动检测方法。
3、提出的方法
车牌自动识别的方法主要包括五个阶段：
1、图像的灰度变换，噪音、雨条纹去除；
2、增强图像的对比度，并进行二值化处理；
3、通过本地计数滤波，并修改连接组件；
4、车牌的倾角检测和校正；
5、过滤非车牌的区域；
在大部分阶段，我们都引入了新的方法使得提出的车牌自动识别系统与已经存在的解决方案有显著的差异。图片3根据阶段的顺序展示了所提出的车牌自动识别方法。
3.1. 图像的灰度变换，噪音、雨条纹去除
3.1.1. RGB彩色图像到灰度转换
我们使用数码相机简单地获取汽车的图像，并将该RGB彩色图像作为车牌自动识别系统的输入。通常情况下，车牌是黑底白字或者白底黑字。在孟加拉，大多数私人汽车的车牌符合这些颜色格式，还有一些车牌是黑底银字。此外，各地的一些商业或政府运输车辆有绿底黑字或黄底黑字的车牌。然而，这些颜色的差异对于车牌自动识别并不重要，因为没有任何颜色信息被用来作为车牌区域检测的特征。其原因是不均匀的光照会对颜色信息产生很大的影响。所以在车牌自动识别的每个阶段都建议使用灰度或二值图像，将RGB彩色图像转换为灰度图像需要进行如下操作：
(1)
（i，j）是像素的位置，G1是灰度图像的值，R、G、B是彩色图像三个通道所对应的值。
3.1.2.去除下雨的影响
在车牌自动识别过程中，将含有雨条纹的图像作为输入会降低系统的性能。图像中的雨条纹产生了一些不规则的事物，并且会增加作为候选车牌区域的数量。为了提高车牌自动识别系统的性能，需要去除或减少灰度图像G1中雨条纹的影响。在去除图片中的雨滴时，我们可以把雨视为周期性的噪音。周期性的噪音可以在频域进行分析和滤波。其基本思想是周期性噪声会在傅立叶变换后的图像中呈现出集中爆发的状态。基于这一基本思想，我们开发了一种自动去除图像中雨点的技术，可以有效地去除图像中的降雨条纹。首先，我们使用离散傅立叶变换（DFT）将受降雨影响的灰度图像G1转换为傅立叶图像（F1）。在傅里叶图像F1中，我们以范围0-1测量所有的系数值。我们以0.5作为阈值，从而保存那些重要的系数值。根据阈值，如果傅里叶图像中存在系数值小于0.5，则将其值置为0。在图片4中，我们展示了一个关于傅里叶图像和对应的阈值图像对雨点的处理效果。在傅里叶阈值图像F2中，白盒所围的区域由于雨的噪音的影响而产生了能量爆发。在G1图像中，能量爆发的方向垂直于雨条纹的方向，因为周期性噪声（假定雨为正弦噪声）的方向也是垂直于雨条纹的方向（见图4（a）和（b））。为了确定傅里叶阈值图像中雨的能量的方向，我们将每个方向的能量做了一个直方图。在直方图计算中，我们通常将-45°到45°作为方向的范围，因为图片中G1大多数雨条纹的方向都在-45°到45°这个范围。在图5中，图像（a）包含在能量直方图计算中所考虑的所有方向（91条白线）。我们知道傅里叶图像F2沿中心垂直轴对称，因此我们只需计算傅里叶阈值图像F2中一半的能量直方图即可。在图5中，傅里叶阈值图像F2中图像（b）能量爆发的方向是23°，图像（C）的方向是- 45°+ 45°。在能量直方图中，拾取点展示了能量突变的方向信息。图5（c）显示能量直方图的峰值指向23°。我们得到雨的能量的方向后，自动去除该方向的能量，并应用在傅里叶图像F1上。最后，傅立叶图像F1经过DFT变换得到去除雨点的图像（G1）。图4中展示了自动去除雨点的例子。
3.1.3.去除非周期性噪音
我们提出的车牌自动识别方法中利用局部不规则的图像作为初始车牌的本土化特征，由于字符的存在，车牌区域内部是不规则的。但非周期性噪声（如污垢、灰尘、表面纹理）会增加图像的不规则性，这会增加背景中非车牌区域的数量。因此，为了消除非周期性噪音，我们用窗口大小为3×3的局部Wiener噪声滤波器处理灰度图像（G1或G10），从而得到去除噪音后的图像（G2）。我们没有直接对105图像数据（含白天室内和室外的图像）进行处理时，找到472个候选的车牌区域（105车牌区域 + 367非车牌区域）。但在应用维纳滤波后，我们得到329个候选车牌区域（105车牌区域 + 224非车牌区域）。这意味着噪声滤波器减少了不必要的背景元素数量，有助于车牌自动识别的后续阶段。此外，在增强图形对比度的场合都需要使用噪声滤波器，因为在增强图像对比度的同时也增大了噪音。因此，噪声的Wiener滤波器被用来处理车牌自动识别的第二阶段。Wiener滤波器的使用给车牌识别系统带来了很多好处。由于噪声的存在，检测车牌周围时可能会发现一些多余的边界区域。通过使用Wiener噪声滤波器，得到可接受的最小的车牌区域边界。图6给出了一些比较图像的例子。在车牌自动识别的第三阶段，我们采用的是对噪声敏感的Bernsen的二值化方法。这意味着在Bernsen二值化处理后噪音会更加明显。这些多余的噪音或白色斑点不是车牌的特征部分，给滤波阶段带来了很大的问题。在图7中，我们展示了一些噪音对二值化处理影响的图像。当我们不使用Wiener噪声滤波器，此时观察紧密的红圈区域，我们可以看到一些由于噪声在车牌区域产生的小白点。
3.2.增强对比度和二值化处理
3.2.1. Tamura-CLAHE对比度增强
由于复杂的环境条件（如夜晚、室内、模糊），输入图像可能存在对比度低的问题。这会降低车牌自动识别在后续阶段的性能。同时雾天的影响也会降低输入图像的能见度或对比度。我们认为除雾问题和增强对比度的问题类似。所以，为了成功检测车牌的区域，我们需要增强去除噪声后的图像G2的对比度。但是无限制地提高对比度或者不知道当前图像的对比度值很可能会导致其他问题，如增加噪声、增加候选车牌区域的数量、扩大发现车牌的边界地区。因此，我们采用Tamura-CLAHE的方式来合理地提高图像的对比度。Tamura对比度值是一个众所周知的测量图像对比度的方法。Tamura对比测量方程（Fcon）:
（2）
Fcon是Tamura的对比度值，描述了图像强度的差异，大约是平均第四的时刻，n = 0.25。它给出了在0 - 1范围内的对比度值。另一方面，CLAHE是一种流行的对比度增强方法，我们可以通过直方图在预定的计算变换函数之前控制增强对比度的限制。为了控制极限CLAHE，我们使用下面的公式：
（3）
在1减去Tamura的值后，除以一个常数div。这里div是一个简单的除数，用来控制Climit值的范围。实验表明车牌区域检测概率最大时，div最佳的值是200。这个方程会以这样一种方式：如果图像的对比度低，则增强对比度的值的极限会很大；反之如果图像的对比度高，则增强对比度的值的极限会很小。当我们使用对比度限制CLAHE，它增强了去除噪声后的图像G2的对比度，从而得到希望的图像（G3）。
图8中给出了使用Tamura-CLAHE处理汽车图像的一些例子。
3.2.2.标准差和基于均值的二值化
在灰度图像中，由于字符的密度和背景，车牌区域有明显的局部不规则。这意味着由于文本和背景之间的对比，车牌区域中像素强度也发生很大的变化。在提出的车牌自动识别中，我们采用一种新的二值化的过程，利用局部不规则作为初始车牌检测的特征。二值化后发现灰度图像的所有局部不规则（改变强度）在高度密集的白色像素区域。在二值化处理时，我们使用一个大小为S×S的窗口
