歡迎登錄中國視覺網!
行業新聞頻道
INDUSTRY NEWS
當前位置:首頁 >> 行業新聞 >> 熱點聚焦 >> 基于圖像識別的草垛檢測研究

基于圖像識別的草垛檢測研究

發布時間:2019-04-29     來源:中國視覺網       訪問次數:1504

劉堯 嚴律 王明松
(南京市??死锏檬泳跫際跤邢薰狙蟹⒉?,江蘇南京210000)


摘要:
   隨著社會經濟的高速發展,生態環境和能源問題愈發嚴峻。秸稈因為其清潔、可再生、價格低廉等,在新能源發電領域發展迅速[1]。為了提高發電生產流程的自動化水平,增加生產效率,草垛搬運的自動化亟待解決。本文通過現場采集點云數據,并對比傳統圖像處理方法和深度學習方法的檢測結果,得到有效滿足現場應用的草垛檢測方法。
關鍵詞:新能源、草垛、圖像處理、深度學習

Research on haystack detection Based on image recognition
With the rapid development of social economy, ecological environment and energy problem increasingly serious concern.Straw because of its clean, renewable and low price, in the field of new energy power generation has developed rapidly .In order to improve the automation level of electricity production process, increase production efficiency, haystack handling automation need to be addressed. In this paper, comparing with the traditional image processing method and the results of deep learning method to meet the effective application of haystack detection method.

1. 引言
   圖像技術在自動化領域的應用越來越廣泛,是智能制造的推動性技術之一。其中,2D圖像技術已經大規模應用在平面物體識別,檢測和測量等只需要二維平面信息的工況。得益于硬件水平和計算機視覺的發展,3D圖像技術也趨于成熟,3D圖像可以完整的描述空間信息,所以其對于處理涉及各種空間位置和姿態的問題具有本質的優勢。
在草垛搬運過程中,草垛呈多層堆疊放置,如果需要引導工業機器人對其進行搬運則必須獲取它的三維空間坐標和平面旋轉角度。因此,本項目采用三維視覺傳感器進行數據采集,再綜合應用圖像處理方法計算得到所需信息。
2. 系統搭建
   本草垛檢測系統包括三維傳感器、高性能工控機和檢測軟件組成,如圖1所示。三維傳感器的選型需要綜合考慮系統工作視場、精度和速度等參數。工控機配備inteli7處理器,為了保證算法性能,軟件開發采用C++語言。



圖1系統結構簡圖


3. 數據處理
   采集的草垛目標和點云數據如圖2(a)、(b)、(c)所示。從圖中可以看出、由于草垛自身的雜亂無章導致點云不連續、錯疊和邊界不清晰,因此直接在點云中查找草垛是比較困難的,而且花費的處理時間也較多。本文利用點云投影方法將點云的高度信息映射為二維深度圖像[2],深度圖像的灰度值表示點云的高度,如圖(d)所示為一副深度圖像。在深度圖像中尋找草垛目標比在點云中直接尋找要更簡單,速度也更快。



(a)實際草垛圖(b)草垛整體點云圖



(c)草垛局部點云圖(d)深度圖
    圖2草垛及其圖像


   傳統的圖像處理過程,如圖3所示:圖像預處理一般包括圖像裁剪、圖像增強等,圖像分割常用的方法是閾值分割、基于形狀的分割等。對分割后的二值圖像進行標記稱為連通域處理,它是連接物體底層信息和特征分析的橋梁。對標記完的圖像便可以進行特征提取和物體識別。如圖4所示,(a)為自適應閾值分割后的圖像,(b)為最終提取出來的結果。


圖3傳統圖像處理方法



(a)分割圖像(b)識別結果
圖4 傳統圖像處理方法


   從圖4中可以看出,傳統的圖像處理方法雖然可以分割出草垛,但無法將緊密連接的草垛分開,從而無法計算草垛位置。為了解決傳統圖像處理方法在提取草垛中的缺點,本文引入深度學習的方法進行草垛識別。深度學習是人工智能的一個分支,從2012年AlexNet[3]在圖像識別大賽奪魁開始,深度學習在圖像領域的應用日趨成熟且不斷拓展,典型的應用包括圖像分類、物體檢測、物體分割等。深度學習已經成功應用在字符識別、物體分揀、自動駕駛、城市規劃等工作場景,正在逐步地改變人們的生活和工作習慣。
   本文采用殘差網絡[4]提取草垛特征,再將特征映射到物體的矩形邊框,殘差網絡基本結構如圖5所示,殘差網絡解決了訓練過程中梯度消失問題的困擾,即來自誤差函數的梯度信號會在反向傳播回更早的層時呈指數級下降。本質上講,在誤差信號反向回到更早的層時,它們會變得非常小以至于網絡無法學習。但是,因為殘差網絡的梯度信號可以直接通過捷徑連接回到更早的層,所以我們可以構建 50 層、101 層、152 層甚至 1000 層以上的網絡了,而且它們的表現依然良好,本文使用的是101層殘差網絡。



圖5殘差基本結構


   網絡結構如圖6所示,本結構是一種端到端的圖像識別方法,網絡最后通過全局池化輸出g*g*5的張量,g一般取26,是輸入圖片的等比例縮小特征圖,前4個是矩形的左上角和右下角點x,y值,它們均為相對圖片寬和高的比例值,最后一位是該矩形區域是目標的概率。該網絡具有識別速度快,準確率高,同時也保證了高召回率。在訓練網絡之前,采集合理數量的圖像進行物體標注和訓練文件制作,最后,神經網絡讀取訓練文件和數據進行反復迭代學習,在驗證集的精度達到一定要求后終止訓練。



圖6網絡結構


4. 實驗結果與分析
   本文采用草垛分類權重作為檢測網絡預訓練權重,從而大大加速學習過程。訓練曲線如圖7所示,從該曲線可以得出,精度和損失在50個epoch后取得了良好的結果。從測試圖像結果中可以得出,該網絡對緊密連接的草垛仍然可以有效區分和識別。同時該處理方法對點云成像效果要求不高,適應草垛塊缺失、變形等多種情況,且可以直接對深度圖像進行處理,節省了運行時間。


圖7訓練過程


圖8識別結果1



圖9識別結果篩選


   由于神經網絡學習到的是多尺度特征,在圖9左側圖像中,該網絡將半截草垛識別為一個草垛,為了避免這種情況,我們利用邊框的面積和比例特征對識別到的結果進行篩選,結果如圖9右側圖像所示,并在篩選的結果上計算長寬比,得到草垛的粗略角度信息,再依據草垛所在中心點,重新映射回點云中獲取該點的三維位置信息,最終得到全部有效的草垛識別結果。

5. 結束語
   本文利用了神經網絡強大的特征學習功能,實現了對傳統圖像處理方法無法識別的物體進行檢測,達到了預期效果。本文識別的草垛基本都位于平面,沒有姿態檢測的需求,后續工作中可以繼續開發同時具備位置和姿態檢測的網絡結構。

6. 參考文獻
[1] 劉曉. 我國秸稈發電項目運營現狀及發展建議[J]. 農業工程, 2017, 7(5):66-67.
[2]劉波, 朱偉興, 楊建軍,等. 基于深度圖像和生豬骨架端點分析的生豬步頻特征提取[J]. 農業工程學報, 2014, 30(10):131-137.
[3]KrizhevskyA ,Sutskever I , Hinton G E . ImageNet Classification with Deep Convolutional Neural Networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012.
[4] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[J]. 2015.