買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州宇泛智能科技股份有限公司申請的專利基于多模態(tài)數(shù)據(jù)的場景空間三維模型動(dòng)態(tài)建模方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119339008B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411885920.6，技術(shù)領(lǐng)域涉及：G06T17/00；該發(fā)明授權(quán)基于多模態(tài)數(shù)據(jù)的場景空間三維模型動(dòng)態(tài)建模方法是由鄭東;趙五岳;趙拯;劉浩設(shè)計(jì)研發(fā)完成，并于2024-12-20向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于多模態(tài)數(shù)據(jù)的場景空間三維模型動(dòng)態(tài)建模方法在說明書摘要公布了：本申請實(shí)施例提供一種基于多模態(tài)數(shù)據(jù)的場景空間三維模型動(dòng)態(tài)建模方法，通過融合視頻序列、點(diǎn)云數(shù)據(jù)和IMU數(shù)據(jù)的特征信息，采用粒子濾波算法建立時(shí)空對應(yīng)關(guān)系。基于Transformer的多模態(tài)場景分析網(wǎng)絡(luò)實(shí)現(xiàn)場景語義理解，結(jié)合空間密度、深度遮擋和形狀變化特征計(jì)算場景評分，通過深度強(qiáng)化學(xué)習(xí)訓(xùn)練的策略網(wǎng)絡(luò)選擇最優(yōu)建模算法。同時(shí)，利用深度神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)分析場景動(dòng)態(tài)特征，實(shí)現(xiàn)動(dòng)態(tài)區(qū)域的自適應(yīng)網(wǎng)格細(xì)分和幾何約束重建，根據(jù)場景語義類型動(dòng)態(tài)調(diào)整重建閾值。該方法有效提升了大規(guī)模復(fù)雜場景的三維重建質(zhì)量和效率。

本發(fā)明授權(quán)基于多模態(tài)數(shù)據(jù)的場景空間三維模型動(dòng)態(tài)建模方法在權(quán)利要求書中公布了：1.一種基于多模態(tài)數(shù)據(jù)的場景空間三維模型動(dòng)態(tài)建模方法，其特征在于，所述方法包括： 采集大規(guī)模室內(nèi)外場景的視頻序列、點(diǎn)云數(shù)據(jù)和IMU數(shù)據(jù)，對所述視頻序列進(jìn)行深度學(xué)習(xí)降噪和畸變校正，對所述點(diǎn)云數(shù)據(jù)進(jìn)行空間降采樣和去噪，對所述IMU數(shù)據(jù)進(jìn)行零偏校準(zhǔn)和標(biāo)定，從所述視頻序列中提取ORB圖像特征和深度信息，從所述點(diǎn)云數(shù)據(jù)中提取法向量特征和邊緣特征，從所述IMU數(shù)據(jù)中提取加速度序列和角速度序列，建立所述ORB圖像特征、所述深度信息、所述法向量特征、所述邊緣特征、所述加速度序列和所述角速度序列之間的時(shí)空對應(yīng)關(guān)系，采用粒子濾波算法融合所述對應(yīng)關(guān)系得到多源場景信息； 將所述多源場景信息映射為特征序列，對所述特征序列進(jìn)行位置編碼，通過多頭自注意力機(jī)制計(jì)算特征間的關(guān)聯(lián)權(quán)重，利用前饋神經(jīng)網(wǎng)絡(luò)對加權(quán)特征進(jìn)行變換，構(gòu)建語義分割頭網(wǎng)絡(luò)對場景要素進(jìn)行分類，生成場景語義類型標(biāo)簽圖，對點(diǎn)云空間進(jìn)行遞歸八叉樹劃分，統(tǒng)計(jì)每個(gè)葉節(jié)點(diǎn)內(nèi)的點(diǎn)云數(shù)量計(jì)算密度系數(shù)，構(gòu)建相機(jī)視錐體模型對場景進(jìn)行投影，計(jì)算投影重疊區(qū)域獲取復(fù)雜度系數(shù)，將所述法向量特征和所述邊緣特征組合構(gòu)建局部幾何描述子，計(jì)算描述子的方差得到形狀變化系數(shù)，將所述密度系數(shù)、所述復(fù)雜度系數(shù)和所述形狀變化系數(shù)進(jìn)行非線性加權(quán)得到場景評分，根據(jù)所述場景語義類型和所述場景評分構(gòu)建多模態(tài)特征表示，在深度強(qiáng)化學(xué)習(xí)訓(xùn)練的策略網(wǎng)絡(luò)中選擇建模算法和參數(shù)組合； 將所述視頻序列與所述深度信息輸入三維卷積神經(jīng)網(wǎng)絡(luò)提取時(shí)空特征，通過反卷積層恢復(fù)場景空間分辨率，生成密集光流場，對所述點(diǎn)云數(shù)據(jù)構(gòu)建拓?fù)溧徑訄D，計(jì)算相鄰時(shí)刻點(diǎn)云節(jié)點(diǎn)的位移差異，生成描述局部形變的矢量場；對所述加速度序列進(jìn)行重力補(bǔ)償和積分計(jì)算位移，對所述角速度序列進(jìn)行積分獲取旋轉(zhuǎn)四元數(shù)，構(gòu)建擴(kuò)展卡爾曼濾波器狀態(tài)方程，將所述位移和所述旋轉(zhuǎn)四元數(shù)作為觀測量，基于運(yùn)動(dòng)學(xué)模型遞歸估計(jì)相機(jī)六自由度位姿參數(shù)，生成相機(jī)運(yùn)動(dòng)軌跡，將三維運(yùn)動(dòng)場、所述形變矢量場和所述運(yùn)動(dòng)軌跡輸入圖神經(jīng)網(wǎng)絡(luò)預(yù)測場景動(dòng)態(tài)區(qū)域，將所述建模算法和所述參數(shù)組合應(yīng)用于所述動(dòng)態(tài)區(qū)域進(jìn)行自適應(yīng)網(wǎng)格細(xì)分和幾何約束重建，根據(jù)所述場景語義類型計(jì)算動(dòng)態(tài)閾值，當(dāng)所述動(dòng)態(tài)區(qū)域的重建誤差超過所述動(dòng)態(tài)閾值時(shí)在所述策略網(wǎng)絡(luò)中重新選擇建模算法對所述動(dòng)態(tài)區(qū)域進(jìn)行重建。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人杭州宇泛智能科技股份有限公司，其通訊地址為：310000 浙江省杭州市余杭區(qū)倉前街道時(shí)尚萬通城3幢24層、25層、26層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。