基于距離正則化的單視圖三維重建
信息技術與網絡安全
胡茂林，李金龍，胡 濤
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230027)
摘要： 針對從一張物體有限的二維RGB圖像信息中還原物體的三維形狀信息，提出了基于距離正則化的單視圖三維重建。利用二維卷積神經網絡(Convolutional Neural Network，CNN)設計圖像編碼器和三維卷積神經網絡設計殘差塊，再利用殘差塊為基礎設計三維形狀生成器,即三維殘差生成器。給定一張物體的二維RGB圖像，首先使用圖像編碼器提取RGB圖像的語義信息；然后，三維形狀生成器使用語義信息，恢復RGB圖像中物體的三維形狀信息。同時，提出了距離規則化損失，在訓練過程中，保證三維物體形狀重建質量。實驗結果顯示，本方法在交并比(Intersection over Union，IoU)評價指標上超過了之前最好的方法。
中圖分類號： TP391
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.05.010
引用格式： 胡茂林，李金龍，胡濤. 基于距離正則化的單視圖三維重建[J].信息技術與網絡安全，2021，40(5)：56-61.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.05.010
引用格式： 胡茂林，李金龍，胡濤. 基于距離正則化的單視圖三維重建[J].信息技術與網絡安全，2021，40(5)：56-61.
Single-view 3D reconstruction based on margin regularization
Hu Maolin，Li Jinlong，Hu Tao
(School of Computer Science and Technology，University of Science and Technology of China，Hefei 230027，China)
Abstract： In order to recover the 3D shape of the object in the input image from the limited information of 2D RGB image, this paper proposes a single image 3D reconstruction method based on a margin regularization loss. This paper uses 2D convolutional neural network(CNN) to design an image encoder and employ 3D CNN to design a special residual block, and then uses residual block to design 3D residual generator. Given a 2D RGB image of an object, firstly, we use our designed image encoder to extract the semantic information of the RGB image; then, the 3D residual generator takes the semantic information as input and recover the 3D shape of the object in the RGB image. At the training phase, this paper proposes a distance regularization loss to ensure the quality of 3D object shape reconstruction during the recovering process. Experiment results demonstrate that the proposed method surpasses the previous best method in the metrics of Intersection over Union(IoU).
Key words : 3D reconstruction；convolutional neural networks；residual block；residual network
0 引言
三維重建是指給定一張或多張RGB圖像的情況下重建該RGB圖像中物體的三維形狀。三維重建已經被探索了幾十年，它是計算機視覺領域一個基礎性任務之一，擁有大量應用場景，例如，機器人導航、虛擬現實、計算機輔助設計、無人駕駛、醫學圖像處理等領域。三維重建是一個非常復雜的過程，從二維圖像恢復三維形狀，恢復缺失的信息往往具有歧義性。為克服三維形狀的歧義性，三維重建方法通常需要結合圖像信息和先驗形狀知識。
隨著大型數據集的出現，數據驅動的方法一定程度上克服歧義性問題，數據集提供三維形狀先驗知識。三維重建方法利用CNN在大型數據集進行預測物體三維形狀取得了巨大的成功，預測的三維形狀可以被歸結為三類：體素網格表示[1]、點云表示[2]、網格表示[3]。近年來，大量基于深度學習的方法被提出來進行三維重建，例如，3D-R2N2[4]、Pix2Vox、PSGN[2]和AttSets[5]。CHOY C B[4]率先提出使用長短期記憶網絡(Long Short Term Memory，LSTM)[6]來融合不同視角圖像的信息，一步一步重建三維物體的形狀。PSGN使用點云表示三維形狀進行單視圖三維重建。Pix2Vox++直接使用CNN融合不同視角圖像信息來進行三維重建。AttSets使用一個注意力聚合模塊去預測一個權重矩陣作為輸入特征的注意力得分。
本文詳細內容請下載:http://www.jysgc.com/resource/share/2000003552
作者信息:
胡茂林，李金龍，胡 濤
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230027)
此內容為AET網站原創，未經授權禁止轉載。