【www.zhangdahai.com--其他范文】
傅幼华，罗文婷，李 林，倪昌双，杨 振
(1.福建农林大学 交通与土木工程学院， 福州 350108；
2.南京工业大学 交通运输工程学院，南京 211816)
裂缝是沥青路面最常见的病害表现形式之一，如果不能及时修复路面上的破损裂缝，将会严重影响道路的使用性能。目前，我国大部分公路路面裂缝检测仍然采用传统的人工检测方法[1]，但由于传统的人工检测存在劳动强度大、人员主观性大、工作效率低、检测时影响正常通行和具有危险性等诸多缺陷，因此，人工检测已无法满足当前公路路面裂缝的检测要求。
近年来，人工智能技术迅速发展，路面裂缝自动化检测法的产生不仅提高了裂缝的检测效率，更克服了传统人工检测存在的各方面制约，使路面病害检测更加精准和科学。
自动化检测法分为基于传统图像识别技术的检测方法和基于深度学习的检测方法。传统图像识别技术的检测方法主要通过图像灰度值的变化来定义病害区域，主要包括区域生长算法[2]、边缘检测算法[3-4]和阈值分割[5-6]等,这些方法在病害图像中灰度差异值较大时检测效果较好，但在复杂背景下检测的误检率较高，为克服复杂背景的影响：张德津等[7]参考裂缝的几何特征和空间分布等，提出基于空间聚集特征的沥青路面裂缝检测方法；
陶健等[8]针对路面不均匀光照等因素，利用图像局部纹理特征和连通域邻域来实现裂缝提取。自动化路面裂缝检测法中基于深度学习的检测方法可以更好地实现目标特征的学习和分类，主要的目标检测算法有Faster R-CNN[9]、FPN[10]、SSD[11]和YOLO[12]系列等：Liu等[13]在 FPCNet 网络的基础上添加多扩展模块和上采样结构，较好地实现了像素级的裂纹检测；
陈旭丹等[14]采用YOLO 目标检测算法来实现对路面常见病害的精确识别；
孙朝云等[15]改进 Faster R-CNN 检测算法，并对路面裂缝进行检测，达到了较高的检测精度。针对复杂背景，章世祥等[16]对Mask R-CNN 的主干网络进行改进，添加Res Net模型与FPN扩展，有效保留裂缝的纹理与轮廓，提高裂缝细节信息的提取能力，实现复杂背景下裂缝的有效识别。
综上所述，目前基于深度学习的自动化检测方法大多是针对路面裂缝检测模型算法的研究，对深度学习模型数据集的处理研究较少。在划分训练集和验证集时，大多使用随机分割的方式，使裂缝特征不能合理地分布在训练集和验证集中。而传统图像识别技术有利于裂缝特征的提取，为裂缝数据微观精分奠定基础。因此，结合传统的图像识别技术，对深度学习裂缝数据集进行微观精分处理，提高沥青路面裂缝检测模型精度。
目前，深度学习数据库大多采用随机分割的方式划分训练集和验证集，这可能使沥青路面病害的某一类典型特征全部分布在训练集或验证集中，导致深度学习模型并不能全面地学习裂缝特征并调整模型超参数。对沥青路面裂缝数据进行微观精分，能够有针对性地将裂缝特征分布到训练集和验证集中。深度模型会使裂缝特征学习更加均衡，提高路面裂缝检测模型的准确性和泛化性。在进行深度学习模型训练前，需要将裂缝数据通过标注软件Labelimg进行标注，此时裂缝数据库未精分。标注完裂缝数据后，对裂缝数据进行初步分析，发现裂缝具有较大区别的线性状态和龟裂网状2种形态，因此，将裂缝宏观精分为线性裂缝和龟裂，并将标签进行相应修改。对于线性裂缝和龟裂，同一种病害可能具有几种不同的形态特征。根据病害的具体特征，对线性裂缝和龟裂进行微观精分，数据精分的最终结果如图1所示。
图1 数据精分最终分类结果
1.1 裂缝宏观精分处理
将标注好的裂缝图片进行宏观精分处理，主要可以分为裂缝特征提取和裂缝特征分类两部分。
1.1.1 裂缝特征提取
裂缝特征提取首先是将裂缝的感兴趣区域进行截取，然后通过基于迭代法的局部自适应阈值化对裂缝的骨干特征进行提取，最后通过去除孤立点完成裂缝图片的降噪，裂缝特征的提取流程如图2所示。
图2 裂缝特征提取流程
1)感兴趣区域截取。文中研究是基于激光车采集的裂缝图片，图片的像素为3 360像素×1 900像素。图片的尺寸较大，若将整张图片进行处理，所需时间较长。为了对裂缝数据进行宏观精分，需对裂缝的骨架进行提取。裂缝相对于背景颜色较黑、灰度值较低，而道路中却普遍存在白色的车道线，为消除车道线的影响，根据已经标注好的裂缝区域，获取标注文件xml中的裂缝坐标，将裂缝图片中的裂缝部分进行截取。
2)基于迭代法的局部自适应阈值化对裂缝图像进行处理。路面具有多纹理性、裂缝上灰度的多变性、裂缝弱信号性以及输出端存在干涉现象等都会导致图片灰度不均。因此，通常的阈值选取方法很难得到最佳阈值，采用一种基于迭代法的局部自适应阈值化方法对裂缝特征进行提取。局部自适应阈值化是根据像素邻域块的像素值分布来确定该像素位置上的二值化阈值，常用的局部自适应阈值有局部邻域块的均值法和高斯加权和，但该阈值法提取裂缝效果较差，存在较多噪点。而基于迭代法的局部自适应阈值化对裂缝的提取效果较好，算法步骤如下所述。
步骤2：根据T将该局部邻域块分为裂缝和背景两部分，将其中灰度值小于T的像素划分为裂缝、灰度值大于T的像素划分为背景，分别求出裂缝的灰度平均值V1和背景灰度平均值V2。
步骤4：根据求得各局部邻域块的最佳阈值T进行图像的阈值分割，分割后的二值化图像如式(1)所示，其中I(i,j)是指第i行第j列的灰度值。裂缝局部自适应阈值化效果对比如图3所示。
图3 裂缝局部自适应阈值化效果对比
(1)
3)通过去除孤立点完成裂缝图片降噪。基于迭代法的局部自适应阈值化对裂缝图像进行二值化处理，虽然相比于其他阈值化方法效果较好，但仍存在一部分噪点。结合形态学方法和区域生长算法，根据八邻域将所有符合条件的连通域遍历出来，设置连通域最小阈值。若连通域小于最小阈值，则该连通域中的点为孤立点，将该点的灰度值填充为背景灰度值，实现裂缝图片降噪。
1.1.2 裂缝特征分类
经过传统图像处理的裂缝特征提取，得到具有明显裂缝特征的二值图像。通过对裂缝图像轮廓的提取，根据孔边界轮廓的个数和面积，对裂缝图片进行分类。将裂缝宏观精分为线性裂缝和龟裂，如图4所示。
图4 宏观精分流程
根据裂缝特征，对裂缝进行宏观精分的核心算法如下：
1)将获得的裂缝二值图像，通过Open CV提供find Contours函数进行轮廓提取，其中的参数选取为mode=RETR_LIST, method=CHAIN_APPROX_NONE，并将识别出来的所有轮廓保存在轮廓数组Contours={C0,C1,…,Cn}中。
2)将轮廓数组C的每个轮廓值进行遍历，计算图片上每个轮廓包围内的灰度平均值，若存在灰度平均值为0，则存在孔边界轮廓；
若灰度平均值为255，则为外边界轮廓，此时的裂缝特征为线性状态，故分类为线性裂缝。
3)若裂缝存在孔边界轮廓，则将孔边界轮廓个数进行累加得n，若n大于等于设定阈值N，则裂缝可划分为龟裂，经多次测试可得，N取5时达到最佳分类效果。若n小于设定阈值N，则考虑孔边界轮廓包围的面积，通过式(2)计算总孔轮廓包围面积s，若s≥设定阈值S，则裂缝分类为龟裂，若s<设定阈值S，则裂缝分为线性裂缝，经多次测试可得S取800时达到最佳分类效果，式中f(i,j)指孔轮廓包围内坐标(i,j)处的像素点，龟裂和线性裂缝的宏观精分如图5所示。
图5 龟裂与线性裂缝宏观精分
(2)
1.2 裂缝微观精分处理
1.2.1 龟裂微观精分
将经过宏观精分的龟裂数据，根据龟裂的灰度值进行微观精分，具体流程如图6所示。将标注文件xml中的龟裂坐标进行提取，得到标注框的4点坐标信息Xmin、Xmax、Ymin、Ymax。确定龟裂在图片中的位置，遍历被标注区域内的灰度值，累计灰度值大于100的个数为A。若A大于等于所设定的阈值，将龟裂分类为白色龟裂；
反之，龟裂可分类为黑色龟裂。根据多次测试以及图片的具体分析可得，取设定阈值为50时，能较好区分白色龟裂和黑色龟裂，分类示意如图7所示。
图6 龟裂微观精分流程
图7 龟裂微观精分
1.2.2 线性裂缝微观精分
将经过宏观精分的线性裂缝数据，根据线性裂缝的倾斜度和长度值进行微观精分。图片的总长度为L，总宽度为W。将标注文件xml中线性裂缝的坐标进行提取，得到标注框的4点坐标信息Xmin、Xmax、Ymin、Ymax，根据式(3)计算线性裂缝的倾斜角和长度值。根据倾斜角的范围和裂缝长度值将线性裂缝分为横长向裂缝、横短向裂缝、纵长向裂缝、纵短向裂缝、倾斜长向裂缝和倾斜短向裂缝，线性裂缝微观精分情况如图8所示。
图8 线性裂缝微观精分
(3)
式中：θ为线性裂缝倾斜角，r为线性裂缝长度，R为图片对角线长度，L为图片总长度，W为图片总宽度。
2.1 模型选取
目前，在基于深度学习的目标检测模型中较为常用的是YOLO系列模型，该系列模型在COCO等目标检测数据集中具有检测速度较快和检测精度较高等优势。因此，文中选取Yolov5模型对改进的数据集进行验证实验，测试数据集精分后能否提高路面裂缝检测模型的精度。
2.2 数据集准备
文中用于训练的图片共1 200张，图片大小为3 360像素×1 900像素。为测试数据集微观精分是否能够提高路面裂缝检测模型的精度，共准备了3个数据集。在划分训练集和验证集时，将精分后的数据类别采用4∶1的数据分配比例，分配到相应的训练集和验证集中。
首先，未精分数据集。将1 200张图片中的所有裂缝标注为统一标签裂缝Crack，不对数据进行精分，如表1所示。其次，宏观精分数据集。根据裂缝的宏观精分方法，将裂缝图片宏观精分为龟裂和线性裂缝，将统一标签Crack相应修改为龟裂AlligatorCrack和线性裂缝LinearCrack，如表2所示。最后，微观精分数据集。根据龟裂和线性裂缝的微观精分方式，将宏观精分数据集中的龟裂分为白色龟裂和黑色龟裂，将线性裂缝分为横长向裂缝、横短向裂缝、纵长向裂缝、纵短向裂缝、倾斜长向裂缝和倾斜短向裂缝，标签名称不改变，如表3所示。
表1 未精分数据库数据分布
表2 宏观精分数据库数据分布
表3 微观精分数据库数据分布
2.3 实验结果对比
2.3.1 裂缝检测模型的评价指标对比
实验采用的硬件环境为：NVIDIA GeForce RTX3080GPU显卡，Intel Core i7 CPU 处理器，内存10 GB。软件环境为：Window10操作系统，Python 3.7.10，torch1.9.0。在训练过程中batch size设置为8，图片输入尺寸为896像素×896像素，epochs设置为300轮。
文中在公路路面裂缝检测过程中，采用查准率、召回率和mAP@.5作为路面裂缝检测模型的评价指标。一般来说，查准率越高则召回率越低，而查准率-召回率(P-R)曲线则没有这个问题，能较好地反映模型性能好坏。P-R曲线下包围的面积为平均精确度，各类平均精确度的均值为mAP。mAP@.5指当交并比IOU取0.5时，算法找到框中的IOU>0.5就是一个有效检测。mAP@.5的值越高，模型检测性能就越好，如式(4)所示。
(4)
式中：TP为算法识别为裂缝，且与人工标注一致的数量；
FP为算法识别为裂缝，但人工标注为非裂缝数量；
FN为算法识别为非裂缝，但人工标注为裂缝数量；
P为查准率；
R为召回率；
N为类别数。
在Yolov5模型训练中未精分数据库、宏观精分数据库和微观精分数据库下的路面裂缝检测模型分别在237轮、251轮和216轮取得最优模型。各数据库下最优模型的评价指标如图9～11所示。
图9 各数据库下的模型指标对比
图10 不同数据库模型中龟裂指标对比
图11 不同数据库模型中线性裂缝指标对比
通过对比Yolov5模型在不同训练库下的路面裂缝模型评价指标，数据库经过微观精分后，路面裂缝模型的性能有了明显提高。与整体裂缝的mAP@.5值对比可得，微观精分相较于宏观精分的裂缝病害模型mAP@.5提高了8.9%，宏观精分相较于未精分的裂缝病害模型mAP@.5提高了5.8%。对比微观精分和宏观精分的龟裂和线性裂缝可得，经过微观精分后的龟裂查准率、召回率和mAP@.5都有明显提升；
线性裂缝的查准率提升召回率却下降，但整体mAP@.5提升了5.1%。龟裂病害产生时，面积一般较大，在标注框内特征较多，而线性裂缝通常是一条裂缝，可供算法学习的特征相对较少。因此微观精分后，沥青路面裂缝检测模型对于龟裂的检测性能提高较为明显。
2.3.2 裂缝检测模型的测试结果对比
为测试未精分数据库、宏观精分数据库和微观精分数据库训练所得的路面裂缝检测模型对实际路面裂缝的检测效果，实验随机选取福建省福银高速上行二车道AK213中的2 km路段为测试路段，激光车以2 m为间隔采集路面图片，共采集1 000张图片进行测试。每10张路面图片进行一次P-R值计算，测试结果通过绘制P-R空间点图来对比3个模型的检测效果，如图12～14所示。
图12 未精分数据库模型P-R空间点
图13 宏观精分数据库模型P-R空间点
图14 微观精分数据库模型P-R空间点
通过3个模型的P-R空间点图对比可得，微观精分数据库模型的查准率和召回率都集中在右上角，检测效果较佳。相比之下，未精分数据库模型和宏观精分数据库模型检测结果的P-R空间点比较离散，对实际路面病害裂缝的检测泛化性不足。
文中提出了一种基于裂缝数据微观精分的深度学习裂缝数据集处理方法。该方法结合传统图像处理方法对深度学习模型的数据集进行改进，以此来提高路面裂缝检测模型的精度。通过YOLOv5模型的验证实验，得到以下结论。
1)深度学习数据集经过微观精分后，相较于宏观精分和未精分的裂缝病害模型，模型的整体性能有明显提高。
2)在随机路段上，微观精分的路面病害模型对沥青路面上的裂缝有较好检测效果，相比于宏观精分和未精分的裂缝病害模型，其泛化性更强。
3)对沥青路面裂缝的数据集进行微观精分处理，能够有效提高路面裂缝检测模型的检测效果，为沥青路面病害自动化检测提供一种新的思路及方法。
猜你喜欢 微观灰度线性 渐近线性Klein-Gordon-Maxwell系统正解的存在性数学物理学报(2022年4期)2022-08-22采用改进导重法的拓扑结构灰度单元过滤技术北京航空航天大学学报(2022年6期)2022-07-02线性回归方程的求解与应用中学生数理化·高一版(2021年2期)2021-03-19Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值天津医科大学学报(2021年1期)2021-01-26二阶线性微分方程的解法中央民族大学学报（自然科学版）(2018年3期)2018-11-09一种新的结合面微观接触模型制造技术与机床(2017年5期)2018-01-19基于最大加权投影求解的彩色图像灰度化对比度保留算法自动化学报(2017年5期)2017-05-14微观的山水诗选刊(2015年6期)2015-10-26基于线性正则变换的 LMS 自适应滤波遥测遥控(2015年2期)2015-04-23基于像素重排比对的灰度图彩色化算法研究浙江理工大学学报(自然科学版)(2015年7期)2015-03-01本文来源：http://www.zhangdahai.com/shiyongfanwen/qitafanwen/2023/0809/637095.html
