《基于多傳感器信息融合的機場道面裂縫檢測算法》論文發表期刊：《現代電子技術》；發表周期：2020年24期

《基于多傳感器信息融合的機場道面裂縫檢測算法》論文作者信息：　　作者簡介：李海豐(1984一)，男，內蒙古人，博士，副教授，研究方向為計算機視覺、機器人環境感知、多傳感器數據融合。 　　最晶品(1991)，女，河南人，碩士研究生，研究方向為圖像處理、多傳感器敏據融合。吳治龍(1995一)，男，重慶人，碩士研究生，研究方向為圖像處理、多傳感器數據融合。 　　彭博(1986一)，男，四川人，博士，副教授，研究方向為交通工程、路面破損檢測與評價分析。 　　桂伸成(1979一)，男，安徽人，博士，高級工程師，研究方向為智能機器人技術。

　　摘要：機場道面的裂縫檢測只能在夜間停航期間進行，由此帶來光照條件差、圖像對比度低、噪聲干擾強烈等問題，致使傳統基于可見光圖像的裂縫檢測算法難以適用。為此，提出一種融合可見光圖像和紅外圖像的裂縫檢測算法。首先通過局部差分法檢測不同傳感器圖像中的初始裂縫;然后，通過局部區域像素的灰度和溫度概率分布建立決策級信息融合模型，獲得候選裂縫，并對候選裂縫進行像素級融合;最后，利用多種數學形態學約束進行篩選，獲得最終的裂縫檢測結果。在真實機場道面數據集上進行了測試，并與多個算法完成對比，結果顯示該文算法的準確率、召回率和F值均優于對比算法，可以較精確地檢測出裂縫，為機場道面裂縫的檢測與管理提供了技術基礎。

　　關鍵詞：機場道面;裂縫檢測;信息融合;候選裂縫篩選;像素融合;測試分析

　　Abstract: As the crack detection of airport pavement can only be carried out during the suspension of flight at night which brings some problems such as poor illumination conditions, low image contrast and strong noise interference, which makes the traditional crack detection algorithm based on visible images difficult to be applied, a crack detection algorithm fusing visible image and infrared image is proposed. The local difference method is used to detect the initial cracks in the image obtained by different sensors. The decision-level information fusion model is established according to the gray scale and temperature probability distribution of pixels within local region to obtain the candidate cracks and then perform the pixel-level fusion of the candidate cracks. A variety of mathematical morphology constraints are used to screen them and obtain the fina results of the crack detection. The testing on a dataset of real airport pavement is conducted, and the result is compared with that of other algorithms. The results show that the precision, recall rate and F value of the proposed algorithm are better than those of the compared algorithms, and the proposed algorithm can detect cracks more accurately, which provides a technica basis for the crack detection and management of airport pavement.

　　Keywords: airport pavement; crack detection; information fusion; candidate crack screening; pixel fusion; test analysis

　　0引言

　　裂縫是機場道面最常見的病害之一，同時也是大多數結構病害的早期表現，即使細小的裂縫也會對飛機起降構成安全隱患。《民用運輸機場運行安全管理規定》中對機場道面裂縫檢測提出了明確要求。與公路道面相比，由于飛機頻繁起降、道面材質等原因，機場道面存在明顯的油污和橡膠殘留痕跡，加之受機場運行要求的制約，只能在夜間人造光源條件下進行道面檢測，上述因素均使得機場道面裂縫檢測非常困難。目前，機場依靠人工巡檢的裂縫檢測方式存在精度差、主觀性強、效率低等諸多問題，已經不能適應民航機場快速發展的要求。因此，自動化的機場道面裂縫檢測日益受到關注。

　　目前，公路道面裂縫自動檢測主要利用可見光圖像。Oliveia等利用自動閾值分割和連通分量算法實現裂縫的提取".Shi等根據積分通道特征及隨機決策森林來識別裂縫。韋春桃等基于灰度差和連通域規則實現裂縫自動檢測和篩選"，Song等基于分數階微分和雙閾值檢測完成了裂縫脊邊的檢測和噪聲的過濾"。張德津等人提出基于空間聚集特征的瀝青路面裂縫檢測方法。然而，基于可見光圖像的方法易受到環境光照、陰影、道面污染等的干擾，無法適用于機場道面。物體表面與裂縫之間存在溫度差異，因此紅外熱成像技術也經常被用于不同場景中的裂縫檢測。嚴園等人利用裂縫尖端應力集中的特點對鋼橋裂縫進行檢測。Rodriguez-Marin等人根據材料熱激發后溫度變化的區別檢測焊接材料表面的裂縫"。Park等人基于紅外熱成像和鎖相方法對焊接異種金屬管道進行裂紋檢測。然而，由于大面積檢測時紅外圖像分辨率較低，所以單獨依靠紅外熱成像傳感器無法完全滿足機場道面細小裂縫精確定位的要求。

　　多傳感器融合是克服上述應用場景復雜性與單一傳感器局限性之間矛盾的有效方法。紅外圖像與可見光圖像之間的融合已被用于行人檢測"、缺陷檢測ta1等多種場合。上述研究表明了融合紅外圖像和可見光圖像的重要性和有效性，啟發大家可設計基于紅外和可見光圖像融合的機場道面裂縫檢測算法。

　　為此，針對機場道面感知數據噪聲強、對比度低等問題，本文設計一種基于可見光和紅外圖像融合的機場道面裂縫自動檢測算法，能更加精確快速地檢測出機場道面的裂縫，提高了養護部門的效率。

　　1機場道面裂縫檢測算法設計本文算法流程如圖1所示。首先，設計局部差分法，并分別提取紅外和可見光圖像的初始裂縫;其次，基于決策級數據融合模型對所有初始裂縫進行驗證，獲得可見光和紅外候選裂縫;然后，采用“或"邏輯生成融合候選裂縫圖;最后，利用形態學約束進行篩選，從而獲得最終的裂縫檢測結果。

　　1.1 基于局部差分法的裂縫預提取首先將紅外圖像的像素溫度值歸一化到0-255，并采用雙邊濾波進行預處理，從而減小噪聲干擾并更好地保護裂縫邊緣。此外，針對光照條件和環境噪聲對可見光圖像質量造成的影響，使用光照補償]和高斯濾波對圖像進行預處理。

　　然后根據裂縫處的像素與路面背景的像素在溫度和灰度上存在差異的特性，設計局部差分法，生成紅外和可見光對比度圖像。在紅外圖像中，令R，為點(i.j)的像素值，并計算以(i.j)點為中心的周圍kk個像素的中值M，若R>Ms，則點(i)的對比度值為P=R，-M，否則對比度值為0，如式(1)所示，從而獲得紅外對比度圖像。

　　式中：G，表示可見光圖像中像素點(ij)的灰度值;M;為以(i.j)點為中心的周圍xk個像素的灰度中值;點(i.j)

　　的對比度值為Po接著利用最大類間方差法分別對紅外和可見光對比度圖像進行二值分割，將分割后得到的前景像素標記為初始裂縫區域像素點。根據其連通性將其分為若干個初始裂縫，定義C"={dli= 1，2，..紅外圖像中提取的初始裂縫集合.c"={cl i=1，2.，m為可見光圖像中提取的初始裂縫集合。接下來通過融合紅外和可見光圖像信息，實現初始裂縫的融合驗證。

　　1.2 基于多屬性決策級數據融合模型的初始裂縫驗證考慮到實際機場道面存在油污、飛機輪痕等干擾，首先通過分析初始裂縫外包區域內像素值分布來確定初始裂縫的溫度或灰度屬性類型。然后構建多屬性決策級數據融合模型，實現初始裂縫的融合驗證。

　　1.2.1 初始裂縫外包區域的生成定義G為初始裂縫集合，即G=C'UC，沿G中每個初始裂縫邊緣法線方向以d個像素大小的距離向四周均勻擴充，如圖2所示。深色區域為初始裂縫，最外圍線條所圍成的區域即為初始裂縫外包區域。圖3a)

　　為存在干擾的可見光圖像，圖3b)為圖3a)的像素值分布直方圖，圖3c)為裂縫外包區域的像素值分布直方圖。初始裂縫外包區域的大小選擇會影響到后續裂縫屬性類型判定，若d的取值過大，會導致該區域可能包含大面積輪痕或油污，干擾后續計算;而如果d的取值過小，該區域像素值分布的統計易受到噪聲影響。因此，d值的選取需要綜合考慮檢測裂縫的實際寬度以及圖像的大小。本文取d=min(1.o0)/10，其中，1和0分別表示圖像中像素的行數和列數。下面將分析初始裂縫外包區域內的像素值分布特征，來確定G中每一條初始裂縫的單項屬性類型。

　　根據以上分析，定義m：和m：分別為G中第1條初始裂縫在可見光圖像中的灰度均值和在紅外圖像中的溫度均值，其對應外包區域像素的灰度分布N(uo)和溫度分布N(uo?)。通過式(3)和式(4)對G中的第i條初始裂縫分別進行灰度和溫度兩個類型判斷。

　　式中：T"和T"表示一條初始裂縫分別經過灰度和溫度屬性判斷后的類型;E表示“這里存在一條裂縫";A表示

　　“這里不存在一條裂縫";U表示“不確定這里是否是裂縫”。

　　在圖3c)中，根據上述30準則判斷，如果初始裂縫平均灰度值小于130，則該裂縫T"的值為E;而在圖3b)

　　中，由于受到環境噪聲的干擾，u-3o，的值減小至80，即只有當初始裂縫平均灰度值小于80時，該裂縫屬性才會被判定為E。而如果裂縫平均灰度值剛好介于80-130之間，則會產生誤判。由此可見，在裂縫外包區域內根據像素值分布確定裂縫屬性類型有助于降低環境干擾。接下來將對兩個屬性建立對應的決策級融合模型，并對初始裂縫進行驗證。

　　12.3 基于決策級融合模型的初始裂縫驗證根據上述初始裂縫屬性進行決策驗證時，有以下三種情況：

　　1)當T和T"屬性類型相同時，表明灰度和溫度方面給出裂縫是否存在的相同證據，因此可直接對此區域進行判定。

　　2)若初始裂縫的一個屬性類型為U，而另一個屬性類型為A或E時，表明雖然有一個屬性暫無法給出存在裂縫的證據，但另一個屬性可充分證明此處是否存在裂縫，因此可根據其中證據充足的屬性類型對此區域進行判定。

　　3)當一條裂縫的兩個屬性類型直接存在沖突，即T"和7"一個為A，另一個為E時，表明有一個屬性已充分證明此處不存在裂縫，雖然另一個屬性表明此處為裂縫，但考慮到部分噪聲的灰度或溫度單一屬性相似于裂縫，因此可認為該屬性受到了噪聲干擾，為無效證據，此時可判斷此處不存在裂縫。

　　根據以上三種情況的分析，建立用以判斷G中的每一條初始裂縫是否為候選裂縫的驗證模型如表1所示。

　　表1中，若一條初始裂縫狀態為“是"，則該裂縫為候選裂縫;若該初始裂縫狀態為“否”，則該裂縫為非候選裂縫。

　　1.3生成候選裂縫圖

　　根據上面結果，將候選裂縫的像素值置為1，其余位置的像素值置為0，從而獲得可見光候選裂縫二值圖像和紅外候選裂縫二值圖像。采用"或"邏輯將對應的可見光和紅外候選裂縫二值圖像進行像素點的融合，從而得到融合后的候選裂縫圖。此時候選裂縫圖中仍然存在部分誤檢，需通過下面的形態特征進一步篩選。

　　1.4基于形態特征的候選裂縫篩選生成的候選裂縫圖中存在的誤檢主要是由于機場道面的混凝土材質中存在大量視覺特征干擾，以及機場道面存在的小坑洞、油污、飛機輪痕等。與上述干擾相比，裂縫具有明顯的帶狀特征，因此在此步驟中，將利用裂縫的形態學特征進行裂縫篩選。首先提取候選裂縫圖像的連通分量;然后計算每個連通分量的像素個數作為其面積，并提取連通分量的骨架像素(如圖4(a)中紅色曲線所示)，將骨架像素個數作為該裂縫的長度;最后計算骨架上所有像素點沿其法線方向到連通分量邊緣的距離，并取其最大值作為整個裂縫的寬度。對于每一個連通分量，當其面積大于國值T.且長寬比大于閾值7.

　　時，此時裂縫被標記為真實裂縫，否則標記為虛假裂縫。

　　根據本文需要檢測的機場道面裂縫的大小及圖像中像素點對應的路面區域實際面積，選擇7.=50，7，=8.

　　2測試結果與分析

　　2.1路面裂縫圖像獲取

　　本文采用Canon VB-H410B數碼相機和Fotric245s紅外熱像儀，采集了成都雙流機場和重慶江北機場部分機場跑道道面數據。相機與紅外熱像儀拍攝時，彼此位置固定，且相機與路面的距離保持不變。所有數據均于夜間機場停航期間在人造光源條件下采集，共獲得85組已配準且存在典型噪聲干擾的可見光和紅外道面圖像，圖像大小為415x340像素，由于篇幅有限，選取兩對典型道面數據干擾情況示例，如圖5所示。

　　2.2 算法評價指標

　　為了客觀評估本文算法的性能，將本文算法與經典彩色圖像裂縫檢測算法CrackIf和CrackForesl"進行對比。本文將這兩個算法分別用于可見光圖像和紅外圖像的裂縫檢測中。為量化檢測結果，采用準確率、召回率、F值來評估3種算法的效果。

　　2.3 測試結果

　　CrackIT CackForest和本文算法在數據集上檢測的準確率、召回率和F值的平均值如表2所示。由此可知，本文算法檢測裂縫完整度的性能僅略低于Crack Forest算法在可見光圖像的檢測性能，但準確檢測裂縫的性能均明顯優于其他兩種算法。

　　圖6為各算法檢測結果的誤差棒圖，其中，柱狀圖代表指標均值，線段代表指標的標準差，標準差可體現算法的穩定性。綜合來看，本文算法性能優于CrackForest和CrackIT算法，彌補了單一傳感器帶來的檢測缺陷，明顯地提高了機場跑道的復雜場景下進行裂縫檢測的性能。

　　圖7展示了各算法在6組典型圖像上檢測的實例。由圖中可見光圖像可知，本文數據集中道面環境復雜

　　(如陰影、道面材質不一，道面與裂縫灰度對比度低)，而在紅外圖像中，雖減少了一部分這些干擾，但是裂縫區域和某些道面區域的溫度相似，從而導致CrackIT和CrackForest算法在單一可見光或紅外圖像中均難以完全排除這些干擾，因此檢測結果存在大量的錯檢和漏檢情況。而本文算法雖然在單一數據源的預檢測結果也存在誤檢，但是通過可見光和紅外圖像的融合，有效去除了大部分干擾，明顯地提高了檢測的準確率。

　　3結語

　　針對在機場道面裂縫檢測中，基于視覺圖像的裂縫

　　檢測方法無法在光照條件差、圖像對比度低、噪聲干擾強的情況下獲得較精確的檢測結果，設計了一種基于多

　　傳感器融合的機場道面裂縫檢測算法。通過建立決策

　　級數據融合模型，對初始裂縫進行綜合決策，并結合多種形態學約束對候選裂縫像素進行篩選，獲得了較準確

　　的裂縫檢測結果。通過在具有各種干擾的真實機場道

　　面數據集上進行的測試表明，該算法能有效地提高裂縫識別的準確性和魯棒性，為后期機場道面裂縫部位的局

　　部精準修護提供了技術保障。

　　參考文獻

　　[1] OLIVEIRA HJ M，CORREIA P L S L.CrackIT-an image processing toolbox for crack detection and chanacterization[CW IEEE International Conference on Image Processing.Paris：IEEE.2014：102-106

　　[2]SHI Yong，CUI Limeng.QI Zhiquan，et al.Automatic road crack detection using random structured forests[J.IEEE transaction on intelligent transportation systems，2016(12)：1-12.

　　[3]韋春桃，余俊辰，趙平，等，基于自適應闊值的細小裂縫與微灰度差異裂縫自動檢測方法[J.中外公路，2019，39(1)：58-63.

　　[4]SONG Hongxun，WANG Weixing.WANG Fengping，et al.

　　Pavement crack detection by ridge detection on fractional calculus and dual-thresholds[J.International journal ofmultimedia and ubiquitous engineering，2015，10(4)：19-30.

　　[5]張德津，李清泉，陳穎，等，基于空間聚集特征的瀝青路面裂縫檢測方法U.自動化學報.2016.42(3)：443-454.

　　[6]嚴園，鄒蘭林，周興林，鋼橋疲勞裂縫的紅外熱成像無損檢測[J]應用科學學報，2016.34(1)：106-114.

　　[7]RODRIGUEZ-MARTIN M.LAGOELA S.GONZALEZ-

　　AGUILERA D，et al.Cooling analysis of welded materials for crack detection using infrared thermography[J].Infrared physics&technology，2014，67：547-554.

　　[8]PARK H，CHOI M.PARK J.et al.A study on detection of micro-cracks in the dissimilar metal weld through ultrasound infrared thermography U]

　　Infrared physics&technology.

　　2014，62：124-131.

　　[9]官大衍，可見光與長波紅外圖像融合的行人檢測方法研究[D).

　　杭州：浙江大學，2019.

　　[10]陳乾輝，吳德剛，基于可見光一紅外光圖像融合的蘋果缺陷

　　檢測算法[].食品與機械，2018，34(9)：135-138.

　　[11] TANG Chaoqing, GUI YunTian, CHEN Xiaotian, et al.Infrared and visible images registration with adaptable localglobal feature integration for rail inspection [J]. Infrared physics&technology，2017，87：31-39.

　　[12]劉志成，王殿偉，劉穎，等，基于二維伽馬函數的光照不均勻圖像自適應校正算法[J].北京理工大學學報，2016，36(2)191-196.