《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > Faster R-CNN定位后的工業CT圖像缺陷分割算法研究
Faster R-CNN定位后的工業CT圖像缺陷分割算法研究
2019年電子技術應用第1期
吳曉元1,常海濤1,茍軍年1,2
1.蘭州交通大學 自動化與電氣工程學院,甘肅 蘭州730070; 2.蘭州交通大學 光電技術與智能控制教育部重點實驗室,甘肅 蘭州730070
摘要: 由Faster R-CNN定位的缺陷區域內存在弱邊緣,若直接采用常規分割算法對該小區域進行處理,會出現嚴重的過分割或欠分割現象。在此研究了一種針對Faster R-CNN定位后的工件缺陷的精確閾值分割法。在利用形態學開閉重建算法對定位區域進行重建,并對重建后的圖像用Otsu雙閾值法做變換處理的基礎上,進一步利用最大熵閾值分割法對變換后的圖像進行分割,最終對分割出的缺陷進行面積、周長等參數的測量。實驗結果表明,所研究算法較常規的算法對工件的缺陷(裂紋、氣泡和夾渣)有更好的分割能力。該算法不僅可以準確地分割出包含弱邊緣的目標,還可以有效排除輪廓背景對分割的干擾。
中圖分類號: TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.181959
中文引用格式: 吳曉元,常海濤,茍軍年. Faster R-CNN定位后的工業CT圖像缺陷分割算法研究[J].電子技術應用,2019,45(1):76-80.
英文引用格式: Wu Xiaoyuan,Chang Haitao,Gou Junnian. Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning[J]. Application of Electronic Technique,2019,45(1):76-80.
Research on defect segmentation algorithm of industrial CT image after Faster R-CNN positioning
Wu Xiaoyuan1,Chang Haitao1,Gou Junnian1,2
1.School of Automation and Electrical Engineering,Lanzhou Jiao-tong University,Lanzhou 730070,China; 2.Key Laboratory of Optoelectronic Technology and Intelligent Control Ministry of Education, Lanzhou Jiao-tong University,Lanzhou 730070,China
Abstract: The defect area located by Faster R-CNN has weak edges. The area would be over-segmented or under-segmented if conventional segmentation algorithm is adopted. This paper made an analysis on precise threshold segmentation algorithm for workpiece defects based on Faster R-CNN location, reconstructing the localization area by morphological opening and closing reconstruction algorithm, processing the reconstructed image by Otsu′s dual threshold method, segmenting transformed images by maximum entropy threshold segmentation method, and finally measuring the area, perimeter and other parameters of the segmented defects. The research shows that the algorithm in this paper has higher segmentation ability regarding workpiece defects(crack, bubble and slag), compared to conventional algorithms. It not only can accurately segment objects with weak edges, but also can effectively remove the interference from the contour background to the segmentation.
Key words : Faster R-CNN;defect segmentation;morphological opening and closing reconstruction algorithm;Otsu′s dual threshold method;maximum entropy threshold segmentation method

0 引言

    深度學習的興起帶動了卷積神經網絡(CNN)的發展,如今一系列的CNN改進網絡如雨后春筍般地出現,如當前興盛的Faster R-CNN網絡被廣泛地應用于圖像檢測領域。Faster R-CNN用于目標定位時,定位出的區域內往往會出現目標邊緣較為模糊的情況,其目標不是理想的階躍型邊緣,而是弱邊緣[1]。對于工件來說,缺陷只占圖像很小的比例,尤其是氣泡和夾渣,鄰域間的灰度差異也不明顯。針對這種情況,必須采用恰當的算法才能實現工件的精確分割。 

    閾值法因簡單而被大量應用在圖像分割領域。其中,應用最廣泛的有最大熵閾值法和Otsu閾值法。

    Pun最早將信息熵定義引用到圖像分割領域,隨后Kapur等提出了最大香農信息熵閾值法[2]。文獻[3]采用了最大熵閾值法及其改進算法進行圖像的分割。

    Otsu閾值法由于高效而被視為最佳的閾值選取法。如文獻[4]采用了二維直方圖Otsu法;文獻[5]提出了三維直方圖重建的Otsu閾值法。

    近些年來,邊緣檢測法(如數學形態學)被廣泛地應用于圖像分割領域。文獻[6]將數學形態學與Otsu分割算法結合,取得了比直接分割方法更好的效果。

    因此,本文結合文獻[6]的思想,提出了將形態學和上述兩類閾值法相結合的方法。實驗結果證明了本文算法對工件缺陷的弱邊緣和小目標都能準確地分割出來,較直接分割法有更佳的效果。

1 圖像分割理論的概述

1.1 形態學重建

    圖像形態學是在數學形態學的基礎上發展而來的非線性圖像處理方法,通過具有一定形態的結構元素對圖像進行“探測”,從而得到物體更本質的形態,便于對圖像進行分析和識別[7]

    本文將形態學開閉重建算法用于圖像濾波,其重建的流程如圖1所示。

jsj1-t1.gif

1.2 Otsu閾值分割

    Otsu閾值法又叫最大類間差分法[8],該算法假設一幅圖像由前景和背景組成,通過統計學的方法選取一個閾值,運用該閾值使得圖像的前景和背景盡可能地分開。設一幅圖像的灰度值是1~L,閾值t從1~L變化,其中使類間方差達到最大的t*為最佳閾值。

    當目標相對背景尺寸較小時,或圖像中有多余兩類目標時,可以推廣為多個閾值的選取,從而實現圖像的多閾值分割。

1.3 最大熵閾值分割

    根據灰度級別,用閾值t把圖像劃分為背景和目標兩類,求使背景熵與目標熵之和達到最大的最優閾值的方法就是最大熵閾值分割法[8]

    設目標熵和背景熵分別為HO(t)和HB(t),則熵函數定義為:

    jsj1-gs1.gif

    使式(1)取值達到最大的t*就是最佳閾值。

2 算法流程及步驟

    針對工件弱邊緣和小目標缺陷在分割時易出現過分割或欠分割的現象,本文研究了一種精確分割的算法,具體流程如圖2所示。

jsj1-t2.gif

    上述根據缺陷的類型進行分布操作,是因為夾渣和另兩種缺陷的灰度分布相反。如果采用相同的操作,將不能實現正確的分割。

3 實驗結果及分析

3.1 分割實驗與結果

    仿真實驗是在MATLAB R2014a環境下編程完成的,分割結果如圖3~圖5所示。

jsj1-t3.gif

jsj1-t4.gif

jsj1-t5.gif

    圖3是裂紋缺陷的分割圖。其中,圖3(a)為定位好的裂紋圖像;圖3(b)為裂紋區域的提取圖像;圖3(c)為對裂紋進行形態學重建后的結果;圖3(d)為重建后的裂紋又進行Otsu雙閾值變換后的圖像;圖3(e)為最終的分割結果;圖3(f)是圖3(e)的邊界提取結果;圖3(g)是裂紋區域的列灰度變化曲線圖,反映了相鄰兩列的灰度差異。由該圖可看出,列灰度曲線很平穩,即裂紋與周圍背景沒有明顯的灰度差異。從圖3(e)和圖3(f)可看出,本文算法對灰度過渡不明顯的裂紋實現了良好的分割。

    圖4是氣泡缺陷的分割圖。從圖4(e)和圖4(f)可看出,本文算法對弱小的氣泡實現了精確的分割。

    圖5是夾渣缺陷的分割圖。從圖5(b)可以看出在提取出的夾渣區域1和2中,包含了一部分細長的黑色背景區域;同時夾渣2的右側存在過渡區域。從圖5(e)和圖5(f)看出,采用本文的分割算法實現了夾渣1和2的良好分割。

    上述結果和分析表明,本文算法有較好的泛化能力,不僅準確地分割了具有明顯灰度對比度的氣泡缺陷,而且對灰度對比差異不明顯的裂紋缺陷或者是有過渡區域的夾渣缺陷,都實現了良好的分割。

3.2 對比實驗

    為了進一步驗證本文所研究算法對缺陷分割的準確性,在此設計對比實驗。對比實驗采用最大熵閾值分割法和Otsu雙閾值分割法。 

3.2.1 分割結果的定性分析

    將對比實驗的結果與本文實驗的結果進行比較和分析,如圖6~圖8所示。

jsj1-t6.gif

jsj1-t7.gif

jsj1-t8.gif

    對圖6裂紋分割對比圖進行分析,從圖6(a)可以看出,對于灰度對比差異不明顯的裂紋,最大熵閾值法和Otsu閾值法的分割結果均出現了嚴重的誤分割現象,如圖6(b)和圖6(d)所示。而采用本文的算法能實現裂紋的精確分割,如圖6(f)所示;同時,圖6(g)表明,提取的邊界與裂紋具有很高的吻合度。

    對圖7氣泡分割對比圖進行分析,為清晰地觀察氣泡的輪廓,對圖7(a)進行預處理,即得到圖4(b),把它與圖7(b)、圖7(c)、圖7(d)和圖7(e)進行對比,表明最大熵閾值法和Otsu閾值法不能分割出氣泡灰度極弱的邊緣;而與圖7(f)和圖7(g)對比,可以看出本文算法很好地分割出了氣泡的弱邊緣,實現了精確的分割。

    對圖8夾渣分割對比圖進行分析,圖8(b)、圖8(c)、圖8(d)和圖8(e)表明,最大熵閾值法和Otsu閾值分割法對夾渣1和2均產生了誤分割現象,即將一部分與夾渣灰度相近的背景分割出來了;同時,對于夾渣2還存在過分割現象。而圖8(f)和圖8(g)表明了本文分割算法的正確性。

3.2.2 分割結果的定量分析

    為了說明算法具有客觀性和準確性,本文引入了分割精度、均方根誤差和相關性系數三項指標[9]對上面3種算法的結果分別進行量化評價。

    分割精度的計算按照如下公式:

    jsj1-gs2.gif

其中,SA表示分割精度,RS為手動勾畫出的分割圖像的參考面積,TS為分割結果的真實面積,|RS-TS|為錯分割的像素點個數。

    分割精度的值越大,分割結果越好;均方根誤差(Root Mean Square Error,RMSE)的值越小,分割結果越接近于理想狀態;相關性系數γ的值越大,分割結果與參考圖像的相似度越高。

    上述3種實驗結果的評價見表1。由表1可知,對于灰度對比差異不明顯的裂紋缺陷,最大熵閾值法和Otsu閾值法的分割結果都不是很好,尤其是Otsu閾值法的效果極差,而本文算法實現的結果較優;對于有明顯灰度差異的氣泡,本文算法較另外兩種算法能很好地分割出邊緣細節;對于含有過渡區域的夾渣缺陷,最大熵閾值法和Otsu閾值法的分割效果很接近,它們均不能很好地分割出目標,而本文算法具有較大的分割精度、較小的均方根誤差和較高的相關性系數,因此實現了較好的分割效果。 

jsj1-b1.gif

3.3 缺陷的測量

    缺陷分割的目的是對缺陷進行分析和測量,因此,深入地了解缺陷的形狀、大小及空間位置是非常重要的。本文選取了面積、周長、面積周長比、長寬比(即最小外接矩形的長寬比)和缺陷面積與定位區域的比5個指標來測量缺陷,其中,面積和周長均用像素點的個數來計算,具體統計結果見表2。

jsj1-b2.gif

    由表2中缺陷面積與定位區域的比值可知,本文研究的工件缺陷都以小目標的形式存在,再結合表1中本文算法對應的各類缺陷評價指標的值,驗證了本文算法對小目標缺陷分割的有效性。

4 結束語

    本文在Faster R-CNN定位的基礎上,針對大部分的工業工件存在缺陷,且許多以弱邊緣或小面積的形式存在的現狀,利用形態學重建、最大熵閾值法和Otsu雙閾值分割法,提出了一種可實現工業CT圖像缺陷精確分割的算法。該算法不存在誤分割或過分割現象;同時,用對比實驗從定性和定量的角度,分別驗證了本文算法的優越性。本文算法具有較好的應用價值。

參考文獻

[1] 馮小雨,梅衛,胡大帥.基于改進Faster R-CNN的空中目標檢測[J].光學學報,2018,38(6):0615004.

[2] 常海濤,茍軍年,李曉梅.分形維-最大熵閾值的弱邊緣工業CT圖像分割算法[J].蘭州交通大學學報,2018,37(1):45-50.

[3] 李鋒,闞建霞.基于Sobel算子的圖像快速二維最大熵閾值分割算法[J].計算機科學,2015,42(6):209-210.

[4] 龔劬,付云鳳,葉劍英,等.基于二維直方圖重建的Otsu圖像分割算法[J].計算機科學,2013,40(8):313-315.

[5] 申鉉京,龍建武,陳海鷹,等.三維直方圖重建和降維的Otsu閾值分割算法[J].電子學報,2011,39(5):1108-1114.

[6] 朱言江,韓震,和思海,等.基于最大類間方差法與數學形態學的遙感圖像潮溝提取方法[J].上海海洋大學學報,2017,26(1):146-153.

[7] 鄧仕超,黃寅.二值圖像膨脹腐蝕的快速算法[J].計算機工程與應用,2017,53(5):207-209.

[8] 胡學龍.數字圖像處理[M].北京:電子工業出版社,2014.

[9] 周莉莉,姜楓.圖像分割方法綜述研究[J].計算機應用研究,2017,34(7):1921-1928.



作者信息:

吳曉元1,常海濤1,茍軍年1,2

(1.蘭州交通大學 自動化與電氣工程學院,甘肅 蘭州730070;

2.蘭州交通大學 光電技術與智能控制教育部重點實驗室,甘肅 蘭州730070)

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲精品国产品国语在线app| 欧美在现视频| 国产亚洲精品久久久久婷婷瑜伽| 欧美日韩一级黄| 欧美伦理a级免费电影| 久久久久久久波多野高潮日日 | 亚洲电影在线看| 久久www成人_看片免费不卡| 午夜精品久久久久久99热软件| 亚洲与欧洲av电影| 亚洲制服少妇| 午夜精品久久久久久久久久久久| 亚洲伊人第一页| 午夜视频在线观看一区| 午夜精品一区二区在线观看| 亚洲欧美激情视频| 性欧美办公室18xxxxhd| 欧美在线观看视频一区二区三区| 欧美一区二区三区视频在线观看| 香蕉亚洲视频| 欧美一区2区视频在线观看| 欧美亚洲免费电影| 亚洲福利免费| 日韩一区二区精品葵司在线| 一区二区三区高清在线| 亚洲综合首页| 久久精品视频亚洲| 久久综合九色综合网站| 男人插女人欧美| 欧美精品久久一区二区| 国产精品啊啊啊| 国产一区二区精品| 亚洲电影有码| 99视频在线精品国自产拍免费观看| 中文网丁香综合网| 欧美在线不卡视频| 亚洲精品小视频| 亚洲综合色视频| 久久九九免费视频| 欧美国产乱视频| 国产精品chinese| 国产一区亚洲| 亚洲激情av在线| 在线亚洲精品福利网址导航| 亚洲欧美日韩在线一区| 亚洲国产精品一区二区三区| 一区二区欧美亚洲| 久久av老司机精品网站导航| 欧美成人免费一级人片100| 欧美日韩国产成人| 国产伦精品一区| 在线免费观看一区二区三区| 亚洲美女视频| 欧美一区二区三区在线免费观看 | 亚洲二区在线视频| 宅男噜噜噜66一区二区| 欧美诱惑福利视频| 一区二区三区日韩| 久久久国产91| 欧美日韩一二三区| 狠狠久久婷婷| 国产精品99久久久久久有的能看| 久久精品2019中文字幕| 中文国产成人精品| 久久亚洲午夜电影| 国产精品男gay被猛男狂揉视频| 一色屋精品视频免费看| 亚洲一区二区免费看| 亚洲精品色图| 久久国产免费| 欧美性久久久| 亚洲国产精品va在线看黑人动漫| 亚洲免费在线精品一区| 日韩系列欧美系列| 久久青草福利网站| 国产精品久久九九| 91久久久久久久久| 欧美在线二区| 香蕉久久一区二区不卡无毒影院| 欧美国产一区视频在线观看| 国产亚洲综合精品| 99综合在线| 最新日韩精品| 久久九九全国免费精品观看| 国产精品黄色| 亚洲精选成人| 亚洲精品一区二区三区av| 久久九九99| 国产毛片一区二区| 一区二区av在线| 99国产精品国产精品久久| 可以看av的网站久久看| 国产视频久久久久| 亚洲午夜视频| 亚洲桃色在线一区| 欧美伦理一区二区| 亚洲国产精品一区二区久 | 欧美一区二区三区四区在线观看 | 午夜久久电影网| 欧美日韩国产综合视频在线| 影音先锋中文字幕一区二区| 欧美一级片在线播放| 欧美一区二区在线视频| 欧美性开放视频| 一本在线高清不卡dvd| 一本大道久久精品懂色aⅴ| 男人的天堂亚洲在线| 极品av少妇一区二区| 久久激情综合网| 久久久久久久高潮| 国产一区二区主播在线| 亚洲欧美视频在线观看| 午夜精品网站| 国产精品入口福利| 亚洲自拍电影| 欧美在线观看视频一区二区| 国产精品久久久久久久久免费| 一本色道久久综合| 亚洲一区二区三区中文字幕| 欧美日韩色一区| 99在线精品免费视频九九视| 一本久久青青| 欧美日韩免费| 一区二区三区国产盗摄| 亚洲性图久久| 国产精品成人一区二区艾草| 一区二区三区精密机械公司 | 国产精品亚洲片夜色在线| 亚洲欧美三级在线| 久久精品日产第一区二区| 国内精品一区二区| 久久精品国内一区二区三区| 老司机精品视频网站| 亚洲高清不卡av| 夜夜嗨一区二区| 欧美日韩在线一区二区三区| 亚洲视频中文| 久久国产精品亚洲va麻豆| 黄色资源网久久资源365| 亚洲国产精品嫩草影院| 欧美精品在线视频| 在线一区二区三区做爰视频网站| 午夜精品久久久久影视 | 久久精品一区蜜桃臀影院| 伊人狠狠色j香婷婷综合| 91久久国产精品91久久性色| 欧美久久在线| 亚洲一区二区三区777| 久久成人一区二区| 影院欧美亚洲| 亚洲网在线观看| 国产欧美在线观看| 亚洲黄色免费| 欧美三级日本三级少妇99| 亚洲欧美中文另类| 欧美a级片一区| 一区二区三区视频免费在线观看| 欧美呦呦网站| 在线日韩成人| 亚洲一区欧美| 激情一区二区三区| 在线视频精品一区| 国产一区二区黄| 日韩一区二区精品葵司在线| 国产精品久久久一本精品| 久久精品九九| 欧美午夜精品久久久| 久久国产88| 欧美日韩精品一区二区天天拍小说 | 久久在线91| 亚洲免费精品| 久久久久www| 9国产精品视频| 久久噜噜亚洲综合| 在线视频亚洲一区| 老司机免费视频久久| 在线综合亚洲| 你懂的成人av| 午夜国产精品视频免费体验区| 欧美高清视频免费观看| 午夜精品久久一牛影视| 欧美国产精品中文字幕| 午夜精品福利电影| 欧美日韩午夜在线视频| 久久精品国产99国产精品| 欧美色道久久88综合亚洲精品| 亚洲电影成人| 国产精品免费观看视频| 亚洲精品一级| 国产一区二区三区在线观看精品| 99精品欧美一区二区蜜桃免费| 国产日韩欧美不卡| 亚洲一区二区在线观看视频| 在线观看视频亚洲| 午夜视频在线观看一区| 亚洲人成网站在线播| 久久这里只精品最新地址| 亚洲自啪免费| 国产精品爱啪在线线免费观看 | 一本一本久久a久久精品综合麻豆|