買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉同濟大學(xué)申請的專利一種紅外與RGB跨模態(tài)特征點匹配方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114120013B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111392935.5，技術(shù)領(lǐng)域涉及：G06V10/75；該發(fā)明授權(quán)一種紅外與RGB跨模態(tài)特征點匹配方法是由田煒;陳展;鄧振文;黃禹堯;譚大藝;韓帥設(shè)計研發(fā)完成，并于2021-11-23向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種紅外與RGB跨模態(tài)特征點匹配方法在說明書摘要公布了：本發(fā)明涉及一種紅外與RGB跨模態(tài)特征點匹配方法，包括：基于采集的原始RGB圖像和IR圖像對深度學(xué)習(xí)模型進行離線訓(xùn)練，得到訓(xùn)練好的匹配模型；將待測的數(shù)據(jù)輸入匹配模型，以提取出特征描述子、輸出對應(yīng)匹配結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明聚焦于多光譜圖像的融合，融合可見光圖像RGB和熱成像圖像IR，通過模型訓(xùn)練，能夠在多模態(tài)下準確提取特征點，更好地執(zhí)行跨模態(tài)特征匹配任務(wù)，進而提高在光照變化劇烈及黑暗場景下相機位姿估計的精度，可以為許多應(yīng)用提供可靠的感知前端，為后續(xù)在傳統(tǒng)SLAM框架下融合多光譜傳感器的研究工作做好前端鋪墊，也將有利于實現(xiàn)跨越白天基于RGB圖像和黑夜基于IR圖像的同一場景建圖定位匹配或深度估計與三維建圖。

本發(fā)明授權(quán)一種紅外與RGB跨模態(tài)特征點匹配方法在權(quán)利要求書中公布了：1.一種紅外與RGB跨模態(tài)特征點匹配方法，其特征在于，包括以下步驟： S1、采集原始RGB圖像和原始IR圖像，基于原始RGB圖像和原始IR圖像對深度學(xué)習(xí)模型進行離線訓(xùn)練，得到訓(xùn)練好的匹配模型； S2、將待測的數(shù)據(jù)輸入訓(xùn)練好的匹配模型，以提取出特征描述子，并輸出對應(yīng)的匹配結(jié)果； 所述步驟S1中深度學(xué)習(xí)模型具體為UnsuperPoint神經(jīng)網(wǎng)絡(luò)模型； 步驟S1中離線訓(xùn)練的具體過程為： S11、對采集的原始RGB圖像和原始IR圖像進行預(yù)處理，以得到成對圖像； S12、構(gòu)建UnsuperPoint神經(jīng)網(wǎng)絡(luò)模型，將成對圖像輸入UnsuperPoint神經(jīng)網(wǎng)絡(luò)模型中進行離線訓(xùn)練，得到訓(xùn)練好的匹配模型； 步驟S11具體是對原始RGB圖像和原始IR圖像進行像素對齊處理，以保證原始RGB圖像與原始IR圖像是像素級完全對齊的，所述成對圖像具體為原始RGB圖像以及加入視角變換的IR圖像，或原始IR圖像以及加入視角變換的RGB圖像； 步驟S12中構(gòu)建的UnsuperPoint神經(jīng)網(wǎng)絡(luò)模型包括骨干網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)用于執(zhí)行點置信估計、點坐標回歸以及描述子提取的聯(lián)合任務(wù)，所述骨干網(wǎng)絡(luò)分為兩個分支：一個分支用于處理原始圖像，另一個分支則用于處理單應(yīng)矩陣變換后的圖像，提取的點通過單應(yīng)矩陣的真值投影到同一圖像坐標系中，計算每對的點距離，以距離小于4像素的點對作為有效點對，構(gòu)建點對應(yīng)關(guān)系，以進行自監(jiān)督學(xué)習(xí)； 所述UnsuperPoint神經(jīng)網(wǎng)絡(luò)模型采用卷積核大小為3、步長為2的卷積網(wǎng)絡(luò)層，以處理IR圖像中因溫度輻射而產(chǎn)生的邊緣模糊； 所述UnsuperPoint神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)損失函數(shù)具體為： ， ， ， ， 其中，A為RGB圖像的標識，B為IR圖像的標識，為總損失函數(shù)，為點置信度損失，該損失由A與B相同點的得分差值的平方表示，為相應(yīng)的權(quán)重； 為基于點對距離的可重復(fù)性損失，為提取點的置信度，為點對的距離，為所有點對的距離均值，為相應(yīng)的權(quán)重； 為點對的歐式距離損失，為相應(yīng)的權(quán)重； 為坐標均勻化的損失，為相應(yīng)的權(quán)重； 為描述子損失，該損失由A與B相同點的描述子的差值的平方表示，為相應(yīng)的權(quán)重； 用于提升描述子在空間上的緊致程度，該損失由不同位置上點的描述子的互相關(guān)系數(shù)的總和表示，為相應(yīng)的權(quán)重； 為兩個描述子向量，為的相似性計算值，為溫度超參數(shù)，用于控制學(xué)習(xí)負例的強度。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人同濟大學(xué)，其通訊地址為：200092 上海市楊浦區(qū)四平路1239號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。