買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉南京理工大學(xué)申請(qǐng)的專利基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測(cè)與三維定位方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114638794B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210214242.5，技術(shù)領(lǐng)域涉及：G06T7/00；該發(fā)明授權(quán)基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測(cè)與三維定位方法是由周靜;宋先義;郭玲設(shè)計(jì)研發(fā)完成，并于2022-03-04向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測(cè)與三維定位方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測(cè)與三維定位方法，包括步驟：創(chuàng)建數(shù)據(jù)集，構(gòu)建裂縫檢測(cè)網(wǎng)絡(luò)模型，并訓(xùn)練保存最優(yōu)模型；將慣性測(cè)量單元IMU與相機(jī)KinectV2采集的數(shù)據(jù)采用非線性優(yōu)化的緊耦合方式進(jìn)行融合，并在視覺(jué)SLAM的跟蹤線程中完成位姿估計(jì)；在跟蹤線程對(duì)實(shí)時(shí)采集的每一幀圖像進(jìn)行判斷，篩選出關(guān)鍵幀，通過(guò)裂縫檢測(cè)模型對(duì)關(guān)鍵幀進(jìn)行語(yǔ)義分割，提取出裂縫信息；將裂縫信息與KinectV2采集的深度信息融入視覺(jué)慣性SLAM框架中，完成包含裂縫信息的稠密點(diǎn)云地圖構(gòu)建，實(shí)現(xiàn)裂縫的三維定位。本發(fā)明方法實(shí)現(xiàn)了裂縫的實(shí)時(shí)檢測(cè)及其在三維環(huán)境中的定位，同時(shí)具有較高的檢測(cè)準(zhǔn)確率和較好的魯棒性。

本發(fā)明授權(quán)基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測(cè)與三維定位方法在權(quán)利要求書(shū)中公布了：1.一種基于深度學(xué)習(xí)和SLAM技術(shù)的裂縫檢測(cè)與三維定位方法，其特征在于，具體包括步驟: S1、構(gòu)建裂縫檢測(cè)網(wǎng)絡(luò)模型，通過(guò)數(shù)據(jù)集對(duì)裂縫檢測(cè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最優(yōu)模型； S2、對(duì)慣性測(cè)量單元與相機(jī)采集的數(shù)據(jù)，采用非線性優(yōu)化的緊耦合方式進(jìn)行數(shù)據(jù)融合，并在視覺(jué)SLAM的跟蹤線程中完成位姿估計(jì)； S3、在跟蹤線程中對(duì)實(shí)時(shí)采集的每一幀圖像進(jìn)行判斷，篩選出關(guān)鍵幀，通過(guò)裂縫檢測(cè)網(wǎng)絡(luò)模型對(duì)關(guān)鍵幀進(jìn)行語(yǔ)義分割，提取出裂縫信息； S4、將步驟S3得到的裂縫信息與相機(jī)采集的數(shù)據(jù)融入視覺(jué)SLAM框架中，進(jìn)行包含裂縫信息的稠密點(diǎn)云地圖構(gòu)建，完成裂縫的三維定位； 所述步驟S1具體包括： 步驟S1-1，采集原始數(shù)據(jù)并進(jìn)行數(shù)據(jù)擴(kuò)充構(gòu)建數(shù)據(jù)集，對(duì)數(shù)據(jù)集進(jìn)行歸一化處理，并采用直方圖均衡化、高斯雙邊濾波進(jìn)行圖像預(yù)處理； 步驟S1-2，對(duì)預(yù)處理后的圖像進(jìn)行標(biāo)注，裂縫區(qū)域標(biāo)記為白色，非裂縫區(qū)域標(biāo)記為黑色，得到掩膜圖像并保存，將數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集； 步驟S1-3，搭建裂縫檢測(cè)網(wǎng)絡(luò)模型，包含四次下采樣和四次上采樣：下采樣每次先采用3×3的和1×1的卷積核進(jìn)行卷積，然后使用ReLu激活函數(shù)對(duì)卷積后的圖像進(jìn)行激活，再與原始的輸入信息級(jí)聯(lián)后，采用尺度為2×2的池化進(jìn)行下采樣，之后的結(jié)果作為下一層卷積的輸入；上采樣即模型進(jìn)入第六層時(shí)，將第五層的輸出作為門(mén)信號(hào)，先將門(mén)信號(hào)通過(guò)1×1的反卷積擴(kuò)張為原來(lái)的2倍，再與模型第四層的輸出分別輸入到設(shè)置好的AG模塊中，數(shù)據(jù)經(jīng)過(guò)AG模塊處理后，輸出信號(hào)再和經(jīng)過(guò)上采樣的門(mén)信號(hào)級(jí)聯(lián)輸出，進(jìn)入卷積核大小為3×3的卷積層，輸出結(jié)果與第六層的原始輸入信號(hào)級(jí)聯(lián)，作為第七層的輸入，依此類(lèi)推，在網(wǎng)絡(luò)的最后一層用一個(gè)1×1的卷積將每個(gè)64維的特征向量映射到輸出層； 步驟S1-4，基于訓(xùn)練集對(duì)裂縫檢測(cè)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，并通過(guò)測(cè)試集驗(yàn)證，直至獲取滿足設(shè)定值的最優(yōu)模型； 所述訓(xùn)練集和測(cè)試集比例為7:3，訓(xùn)練集中包含的有裂縫圖像和無(wú)裂縫圖像數(shù)量相等； 所述步驟S2具體包括： S2-1，分別對(duì)相機(jī)和慣性測(cè)量單元進(jìn)行標(biāo)定得到各自內(nèi)參數(shù)，再對(duì)二者進(jìn)行聯(lián)合標(biāo)定，得到轉(zhuǎn)換矩陣和時(shí)差； S2-2，通過(guò)慣性測(cè)量單元的誤差模型和運(yùn)動(dòng)模型計(jì)算其連續(xù)幀間的預(yù)積分模型,并對(duì)陀螺儀偏置、重力加速度、速度進(jìn)行初始化，完成視覺(jué)慣性聯(lián)合初始化； S2-3，將預(yù)積分模型預(yù)積分后和視覺(jué)信息采用緊耦合的方式進(jìn)行數(shù)據(jù)融合，并對(duì)視覺(jué)重投影誤差和慣性測(cè)量單元?dú)埐畈捎没诨瑒?dòng)窗口邊緣化的非線性優(yōu)化模型進(jìn)行位姿估計(jì)，并通過(guò)目標(biāo)優(yōu)化函數(shù)確定優(yōu)化后的位姿； 所述預(yù)積分模型為： 其中，i和j為相鄰的兩個(gè)關(guān)鍵幀,δφij、δvij、δpij分別表示慣性測(cè)量單元的旋轉(zhuǎn)、速度、位置測(cè)量時(shí)的噪聲,Ri、vi、pi分別表示第i個(gè)關(guān)鍵幀的相對(duì)旋轉(zhuǎn)矩陣，速度與平移量；Rj、vj、pj分別表示第j個(gè)關(guān)鍵幀的相對(duì)旋轉(zhuǎn)矩陣，速度與平移量；Δtij表示i,j兩個(gè)時(shí)刻的時(shí)間差； 所述非線性優(yōu)化模型為： 其中，為慣性測(cè)量單元的殘差模型，其中X為待優(yōu)化的變量，為慣性測(cè)量單元預(yù)積分的值，ep、eq、ev、eba、ebg分別為慣性測(cè)量單元預(yù)積分中的位置，速度，姿態(tài)以及陀螺儀零偏，加速度計(jì)零偏，b為隨機(jī)游走噪聲，β為白噪聲；為慣性測(cè)量單元的視覺(jué)重投影誤差，ξi為相機(jī)位姿所對(duì)應(yīng)的李代數(shù)，mj為一個(gè)三維地圖點(diǎn)，pij為三維地圖點(diǎn)在圖像中對(duì)應(yīng)的像素點(diǎn)； 所述目標(biāo)優(yōu)化函數(shù)為： 其中，B表示所有慣性測(cè)量單元測(cè)量的集合，k表示第k個(gè)圖像，Hp表示先驗(yàn)信息的海森矩陣，γp、γB表示各優(yōu)化變量的雅可比矩陣； 所述步驟S3中篩選出關(guān)鍵幀的篩選規(guī)則為滿足以下規(guī)則其中之一： 1距離上次參考關(guān)鍵幀至少20幀； 2當(dāng)前幀距離上次關(guān)鍵幀插入至少間隔20幀或局部線程處于空閑狀態(tài)； 3當(dāng)前幀至少能跟蹤到50個(gè)特征點(diǎn)； 4當(dāng)前幀跟蹤到的三維地圖點(diǎn)要比參考關(guān)鍵幀多80％以上，確保重疊率低； 所述步驟S4具體包括： S4-1、將經(jīng)過(guò)視覺(jué)SLAM跟蹤、局部BA優(yōu)化和回環(huán)矯正篩選出的關(guān)鍵幀所對(duì)應(yīng)的彩色地圖和深度地圖進(jìn)行稠密點(diǎn)云建圖，得到稠密點(diǎn)云地圖； S4-2、將步驟3對(duì)所有關(guān)鍵幀進(jìn)行語(yǔ)義分割得到的裂縫信息，通過(guò)坐標(biāo)轉(zhuǎn)換關(guān)系映射到稠密點(diǎn)云地圖中，針對(duì)連續(xù)關(guān)鍵幀間的語(yǔ)義標(biāo)簽不一致采用貝葉斯更新，即： 其中，三維地圖點(diǎn)設(shè)為Vd，表示目前所有關(guān)鍵幀集合，lk表示一個(gè)三維體素的類(lèi)別，表示該三維地圖點(diǎn)在語(yǔ)義標(biāo)簽集合上的獨(dú)立分布概率分布； 在新關(guān)鍵幀到來(lái)時(shí)通過(guò)更新三維地圖點(diǎn)云的語(yǔ)義信息，獲取全局一致的帶有裂縫信息的稠密點(diǎn)云地圖，通過(guò)稠密點(diǎn)云地圖獲得裂縫的三維位置信息。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人南京理工大學(xué)，其通訊地址為：210094 江蘇省南京市孝陵衛(wèi)200號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。