買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉中國礦業(yè)大學(xué)申請的專利基于跨模態(tài)Transformer的點(diǎn)云語義分割方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN116468731B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202310215339.2，技術(shù)領(lǐng)域涉及：G06T7/10；該發(fā)明授權(quán)基于跨模態(tài)Transformer的點(diǎn)云語義分割方法是由周勇;解澤明;趙佳琦設(shè)計(jì)研發(fā)完成，并于2023-03-08向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于跨模態(tài)Transformer的點(diǎn)云語義分割方法在說明書摘要公布了：一種基于跨模態(tài)Transformer的點(diǎn)云語義分割方法，屬于語義分割技術(shù)領(lǐng)域。方法注重將相機(jī)圖像密集視覺信息引導(dǎo)到點(diǎn)云語義分割任務(wù)中，以完成點(diǎn)云語義分割任務(wù)。先將三維點(diǎn)云按照坐標(biāo)系變換關(guān)系統(tǒng)一到相機(jī)圖像坐標(biāo)系下，然后透視投影得到三維點(diǎn)云的二維表示，接著計(jì)算提取得到多尺度特征圖，再進(jìn)行跨模態(tài)注意力融合，將相機(jī)圖像與投影的點(diǎn)云圖像進(jìn)行特征級融合，最后上采樣圖像并進(jìn)行分類，將分類結(jié)果根據(jù)逆投影變換關(guān)系投影到三維點(diǎn)云上即可完成點(diǎn)云語義分割任務(wù)。利用Transformer自注意機(jī)制來建立跨模態(tài)間特征依賴關(guān)系，結(jié)合圖像和點(diǎn)云兩個模態(tài)的特征信息，增強(qiáng)了模型的特征表達(dá)能力，并設(shè)計(jì)了邊界性損失函數(shù)，強(qiáng)調(diào)語義物體的邊界，從而提高了物體分割的邊界精度。

本發(fā)明授權(quán)基于跨模態(tài)Transformer的點(diǎn)云語義分割方法在權(quán)利要求書中公布了：1.一種基于跨模態(tài)Transformer的點(diǎn)云語義分割方法，其特征在于，該方法包括以下步驟： S1、針對給定場景的三維點(diǎn)云和相應(yīng)視野范圍的相機(jī)彩色圖像根據(jù)旋轉(zhuǎn)矩陣R、平移矩陣T，將三維點(diǎn)云透視投影變換轉(zhuǎn)換到二維平面上，將三維點(diǎn)云中共計(jì)N個點(diǎn)的各自4個維度數(shù)據(jù)，外加計(jì)算得到的距離共5個維度數(shù)據(jù)，組合成為二維圖像N為點(diǎn)云數(shù)量，x、y、z為維度坐標(biāo)值，H為圖像高度，W為圖像寬度； S2、將投影得到的二維圖像和相機(jī)彩色圖像分別經(jīng)過基于ResNet網(wǎng)絡(luò)處理之后分別得到4個尺度特征圖和l為尺度索引，I表示二維圖像經(jīng)過ResNet得到的特征圖，S表示相機(jī)彩色圖像經(jīng)過ResNet得到的特征圖； S3、得到多尺度特征圖和之后，取l＝1尺度的特征圖和輸入到Transformer中進(jìn)行特征跨模態(tài)自注意，得到跨模態(tài)圖像特征F1 C； S4、針對步驟S3得到的跨模態(tài)圖像特征F1 C，進(jìn)行雙線性插值上采樣步驟和CNN卷積網(wǎng)絡(luò)處理，得到l＝1尺度的最終特征圖其中，H為圖像高度，W為圖像寬度； S5、同理，將步驟S2中l(wèi)＝2,3,4尺度的特征圖逐步經(jīng)過步驟S3、S4處理得到最終特征圖記作特征圖組 S6、得到特征圖組后，將所有特征圖在維度上相連接，通過卷積層得到概率體T，對概率體沿維度方向進(jìn)行softmax運(yùn)算來歸一化概率以得到分割結(jié)果圖P0； S7、計(jì)算分割結(jié)果圖和真實(shí)值之間的損失，根據(jù)得到的損失值訓(xùn)練整個網(wǎng)絡(luò)，直到達(dá)到限定次數(shù)，此時得到的分割結(jié)果圖就是最終的分割圖，選取最大概率處的維度值為預(yù)測的類別值，根據(jù)反透視投影過程得到三維點(diǎn)云的分割結(jié)果。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人中國礦業(yè)大學(xué)，其通訊地址為：221116 江蘇省徐州市大學(xué)路1號中國礦業(yè)大學(xué)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。