《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 基于距離正則化的單視圖三維重建
基于距離正則化的單視圖三維重建
信息技術(shù)與網(wǎng)絡(luò)安全
胡茂林,李金龍,胡 濤
(中國科學(xué)技術(shù)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥230027)
摘要: 針對從一張物體有限的二維RGB圖像信息中還原物體的三維形狀信息,提出了基于距離正則化的單視圖三維重建。利用二維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)設(shè)計圖像編碼器和三維卷積神經(jīng)網(wǎng)絡(luò)設(shè)計殘差塊,再利用殘差塊為基礎(chǔ)設(shè)計三維形狀生成器,即三維殘差生成器。給定一張物體的二維RGB圖像,首先使用圖像編碼器提取RGB圖像的語義信息;然后,三維形狀生成器使用語義信息,恢復(fù)RGB圖像中物體的三維形狀信息。同時,提出了距離規(guī)則化損失,在訓(xùn)練過程中,保證三維物體形狀重建質(zhì)量。實驗結(jié)果顯示,本方法在交并比(Intersection over Union,IoU)評價指標(biāo)上超過了之前最好的方法。
中圖分類號: TP391
文獻(xiàn)標(biāo)識碼: A
DOI: 10.19358/j.issn.2096-5133.2021.05.010
引用格式: 胡茂林,李金龍,胡濤. 基于距離正則化的單視圖三維重建[J].信息技術(shù)與網(wǎng)絡(luò)安全,2021,40(5):56-61.
Single-view 3D reconstruction based on margin regularization
Hu Maolin,Li Jinlong,Hu Tao
(School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China)
Abstract: In order to recover the 3D shape of the object in the input image from the limited information of 2D RGB image, this paper proposes a single image 3D reconstruction method based on a margin regularization loss. This paper uses 2D convolutional neural network(CNN) to design an image encoder and employ 3D CNN to design a special residual block, and then uses residual block to design 3D residual generator. Given a 2D RGB image of an object, firstly, we use our designed image encoder to extract the semantic information of the RGB image; then, the 3D residual generator takes the semantic information as input and recover the 3D shape of the object in the RGB image. At the training phase, this paper proposes a distance regularization loss to ensure the quality of 3D object shape reconstruction during the recovering process. Experiment results demonstrate that the proposed method surpasses the previous best method in the metrics of Intersection over Union(IoU).
Key words : 3D reconstruction;convolutional neural networks;residual block;residual network

0 引言

三維重建是指給定一張或多張RGB圖像的情況下重建該RGB圖像中物體的三維形狀。三維重建已經(jīng)被探索了幾十年,它是計算機(jī)視覺領(lǐng)域一個基礎(chǔ)性任務(wù)之一,擁有大量應(yīng)用場景,例如,機(jī)器人導(dǎo)航、虛擬現(xiàn)實、計算機(jī)輔助設(shè)計、無人駕駛、醫(yī)學(xué)圖像處理等領(lǐng)域。三維重建是一個非常復(fù)雜的過程,從二維圖像恢復(fù)三維形狀,恢復(fù)缺失的信息往往具有歧義性。為克服三維形狀的歧義性,三維重建方法通常需要結(jié)合圖像信息和先驗形狀知識。

隨著大型數(shù)據(jù)集的出現(xiàn),數(shù)據(jù)驅(qū)動的方法一定程度上克服歧義性問題,數(shù)據(jù)集提供三維形狀先驗知識。三維重建方法利用CNN在大型數(shù)據(jù)集進(jìn)行預(yù)測物體三維形狀取得了巨大的成功,預(yù)測的三維形狀可以被歸結(jié)為三類:體素網(wǎng)格表示[1]、點云表示[2]、網(wǎng)格表示[3]。近年來,大量基于深度學(xué)習(xí)的方法被提出來進(jìn)行三維重建,例如,3D-R2N2[4]、Pix2Vox、PSGN[2]和AttSets[5]。CHOY C B[4]率先提出使用長短期記憶網(wǎng)絡(luò)(Long Short Term Memory,LSTM)[6]來融合不同視角圖像的信息,一步一步重建三維物體的形狀。PSGN使用點云表示三維形狀進(jìn)行單視圖三維重建。Pix2Vox++直接使用CNN融合不同視角圖像信息來進(jìn)行三維重建。AttSets使用一個注意力聚合模塊去預(yù)測一個權(quán)重矩陣作為輸入特征的注意力得分。



本文詳細(xì)內(nèi)容請下載:http://m.rjjo.cn/resource/share/2000003552




作者信息:

胡茂林,李金龍,胡  濤

(中國科學(xué)技術(shù)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥230027)


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 国产91会所洗浴女技师按摩 | 67194成人手机在线 | 天干夜天天夜天干天ww | 三级视频在线播放 | 国内自产拍自a免费毛片 | 成人国产一区二区三区 | 九九色在线视频 | 国产一区二区三区亚洲欧美 | 国产成人av性色在线影院 | 国产精品欧美韩国日本久久 | 大学生久久香蕉国产线观看 | 特别福利视频在线观看 | 欧美一区二区三区在观看 | 成人欧美在线观看 | 女性无套免费网站在线看 | 免费一级a毛片在线播 | 欧美成人看片一区二区三区 | 波多野结衣在线看片 | 日本高清色本免费现在观看 | 96精品视频在线播放免费观看 | 成人免费一区二区三区视频软件 | 美国一级毛片a | 亚洲精品综合在线 | 亚洲视频精品在线观看 | 免费福利入口在线观看 | 国产美女一级毛片 | 欧美毛片在线观看 | 国产精品二区在线 | 免费的特黄特色大片在线观看 | 日本成人在线免费 | 91情侣在线偷精品国产 | 国产日产欧产精品精品推荐在线 | 亚洲精品第一国产综合野 | 香港免费毛片 | 久久久久久亚洲精品中文字幕 | 成年网在线观看免费观看网址 | 女仆色在线 | 成人在线观看不卡 | 国产乱色在线观看 | 国产精品亚洲片在线观看不卡 | 欧美日韩一区二区中文字幕视频 |