買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉西安理工大學(xué)申請的專利基于深度學(xué)習(xí)的多視角三維重建方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119131242B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411135002.1，技術(shù)領(lǐng)域涉及：G06T17/00；該發(fā)明授權(quán)基于深度學(xué)習(xí)的多視角三維重建方法是由孫晗;劉晟;李文斌;曹霆;張彤;李學(xué)平設(shè)計(jì)研發(fā)完成，并于2024-08-19向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于深度學(xué)習(xí)的多視角三維重建方法在說明書摘要公布了：本發(fā)明公開了基于深度學(xué)習(xí)的多視角三維重建方法，步驟是：步驟1，多視角圖像采集；步驟2，圖像預(yù)處理；步驟3，二維圖像特征提取；步驟4，多視角特征融合；步驟5，將二維圖像與三維模型相結(jié)合；步驟6，利用級聯(lián)形變網(wǎng)絡(luò)優(yōu)化初始的三維模型，級聯(lián)形變網(wǎng)絡(luò)結(jié)合感知特征池化層的輸出，經(jīng)過多次形變，逐步優(yōu)化初始的三維模型；步驟7，輸出三維網(wǎng)格模型，在三維重建網(wǎng)絡(luò)中經(jīng)過多次的形變，最終變換得到精細(xì)的三維網(wǎng)格模型。本發(fā)明屬于計(jì)算機(jī)視覺和圖形技術(shù)領(lǐng)域，解決了現(xiàn)有技術(shù)中利用單一視角的單張圖像重建的三維模型的完整性較差，三維重建網(wǎng)絡(luò)的細(xì)節(jié)不夠豐富，導(dǎo)致三維重建模型的應(yīng)用場景受限的問題。

本發(fā)明授權(quán)基于深度學(xué)習(xí)的多視角三維重建方法在權(quán)利要求書中公布了：1.基于深度學(xué)習(xí)的多視角三維重建方法，其特征在于，按照以下步驟實(shí)施： 步驟1，多視角圖像采集，采用標(biāo)定好的數(shù)碼相機(jī)對需要重建的物體從正面、背面、左側(cè)和右側(cè)四個(gè)視角進(jìn)行拍攝，得到清晰的視角信息，具體過程是： 1.1）在拍攝四個(gè)視角的圖像時(shí)，選擇光線均勻的時(shí)間段進(jìn)行拍攝，同時(shí)保持不同視角間數(shù)碼相機(jī)與物體的距離相等； 1.2）拍攝時(shí)，數(shù)碼相機(jī)依次面向目標(biāo)物體的正面、背面、左側(cè)和右側(cè)，與物體表面呈90度角，且拍攝軸線垂直于各個(gè)面； 1.3）確保從前、后、左、右四個(gè)視角采集的圖像在空間上互不重疊，檢查每個(gè)視角的圖像，將圖像中與其他視角重疊的區(qū)域裁剪掉； 步驟2，圖像預(yù)處理，對采集到的不同視角的圖像進(jìn)行相同的預(yù)處理操作，包括色彩矯正和去噪，具體過程是： 2.1）對圖像進(jìn)行色彩矯正， 利用相同的方法改變圖像中所有像素的顏色值，色彩矯正圖像的表達(dá)式如下： 其中，i表示目標(biāo)色彩空間中的通道；j表示源色彩空間中的通道；M ij表示從源色彩空間的第j個(gè)通道到目標(biāo)色彩空間的第i個(gè)通道的轉(zhuǎn)換權(quán)重； 2.2）利用中值濾波的方式去除圖像中的噪聲，改善圖像質(zhì)量， 在圖像中移動(dòng)一個(gè)窗口，并用該窗口中所有像素的中值替換中心像素； 步驟3，二維圖像特征提取，具體過程是： 3.1）構(gòu)建圖像特征提取模塊，對VGG16網(wǎng)絡(luò)進(jìn)行改進(jìn)，僅保留從conv1_2至conv5_3的完整卷積與池化結(jié)構(gòu)； 圖像特征提取模塊共有五個(gè)模塊，分別命名為Conv1_2、Conv2_2、Conv3_3、Conv4_3、Conv5_3，利用各卷積層獲取二維圖像不同層次的特征信息，提取各視角的二維圖像特征； 3.2）引入金字塔特征注意力網(wǎng)絡(luò)，將Conv1_2與Conv2_2的輸出特征F1、F2作為低層次特征，送入空間注意力模塊；將Conv3_3、Conv4_3、Conv5_3的輸出特征F3、F4、F5作為高層次的特征，送入感知上下文的特征金字塔模塊以及通道注意力模塊，以獲取更加豐富的語義信息；然后通過上采樣的方式將不同尺度的特征進(jìn)行融合作為該模塊的輸出；通道注意力模塊對來自特征金字塔模塊的特征進(jìn)行加權(quán)，提高目標(biāo)信息所在通道的權(quán)重；隨后通過上采樣方式調(diào)整特征圖大小，將兩個(gè)不同分支的特征融合作為金字塔特征注意力網(wǎng)絡(luò)的輸出； 3.3）利用搭建的圖像特征提取模塊，采用多個(gè)輸入分支，每個(gè)分支獨(dú)立提取各個(gè)視角的圖像特征，完成對多視角二維圖像特征的提取； 步驟4，多視角特征融合，對于步驟3中各輸入分支提取出的二維圖像特征圖進(jìn)行融合處理，作為后續(xù)三維重建網(wǎng)絡(luò)的輸入，采用基于統(tǒng)計(jì)相似度特征引導(dǎo)的融合策略具體為： 在每個(gè)視角圖像的四個(gè)角分別選取大小為32×32像素的鄰域窗口；在每個(gè)鄰域內(nèi)計(jì)算三種通道級的統(tǒng)計(jì)量，包括均值、最大值、標(biāo)準(zhǔn)差；對不同的視角賦予不同的權(quán)重，對每個(gè)視角的統(tǒng)計(jì)量進(jìn)行加權(quán)，計(jì)算加權(quán)后的均值、最大值、標(biāo)準(zhǔn)差；將統(tǒng)計(jì)值代入歐式距離中計(jì)算不同視角鄰域之間的語義相似度；根據(jù)相似度計(jì)算結(jié)果將具有高相似度的視角特征進(jìn)行拼接融合； 步驟5，將二維圖像與三維模型相結(jié)合， 具體過程是：利用感知特征池化層將二維圖像特征提取模塊的輸出與三維空間中的模型相結(jié)合，實(shí)現(xiàn)二維圖像到三維模型的轉(zhuǎn)換， 在感知特征池化層中，給定一個(gè)頂點(diǎn)的三維坐標(biāo)，使用數(shù)碼相機(jī)的內(nèi)部函數(shù)計(jì)算它在輸入平面上的二維投影，由于該頂點(diǎn)在二維空間下是個(gè)連續(xù)的位置，使用雙線性插值從附近的四個(gè)像素計(jì)算這個(gè)位置對應(yīng)的特征； 步驟6，利用級聯(lián)形變網(wǎng)絡(luò)優(yōu)化初始的三維模型，級聯(lián)形變網(wǎng)絡(luò)結(jié)合感知特征池化層的輸出，經(jīng)過多次形變，逐步優(yōu)化初始的三維模型， 具體的，級聯(lián)形變網(wǎng)絡(luò)由網(wǎng)格變形塊和圖像上池化層組成，網(wǎng)格變形塊通過將二維圖像特征與網(wǎng)格中頂點(diǎn)坐標(biāo)結(jié)合起來，更新每個(gè)頂點(diǎn)的位置以及特征向量；圖像上池化層是一個(gè)上采樣操作，用于增加變形網(wǎng)格的頂點(diǎn)數(shù)量， 損失函數(shù)在網(wǎng)絡(luò)訓(xùn)練中起核心作用，用于評估三維重建網(wǎng)絡(luò)得出的預(yù)測模型和利用三維掃描設(shè)備獲得的實(shí)際模型之間的差異，在訓(xùn)練過程中根據(jù)損失函數(shù)的結(jié)果對參數(shù)進(jìn)行調(diào)整，進(jìn)而構(gòu)建三維網(wǎng)格模型， 以下從模型的頂點(diǎn)和法線向量方面定義其損失函數(shù)，由倒角損失函數(shù)、法線損失函數(shù)、拉普拉斯正則化以及邊長正則化四部分組成： a）倒角損失函數(shù)是衡量兩組點(diǎn)集之間距離，其計(jì)算公式為： ， 其中，為從重建網(wǎng)格模型中采樣點(diǎn)的集合，為真實(shí)的三維模型中采樣點(diǎn)的集合；、分別屬于兩個(gè)點(diǎn)集里面的點(diǎn)； b）法線損失函數(shù)是通過比較預(yù)測的表面法線和真實(shí)的表面法線之間的差異來計(jì)算的，其計(jì)算公式為： ， 其中，約束條件為k∈S，u表示重建網(wǎng)格模型中的一個(gè)頂點(diǎn)，S表示與頂點(diǎn)u相鄰的點(diǎn)集合；v為真實(shí)的三維模型中距離u最近的頂點(diǎn)，該點(diǎn)通過倒角損失函數(shù)得到；n表示法線向量；n v表示從真實(shí)的三維模型得到的法線向量； c）拉普拉斯正則化的計(jì)算公式為： ，， 其中，是一個(gè)頂點(diǎn)在變形前的拉普拉斯坐標(biāo)，是一個(gè)頂點(diǎn)在變形后的拉普拉斯坐標(biāo)； d）邊長正則化對模型的邊長進(jìn)行約束或優(yōu)化，其計(jì)算公式為： ； 步驟7，輸出三維網(wǎng)格模型，在三維重建網(wǎng)絡(luò)中經(jīng)過多次的形變，最終變換得到精細(xì)的三維網(wǎng)格模型。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人西安理工大學(xué)，其通訊地址為：710048 陜西省西安市碑林區(qū)金花南路5號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。