買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉昆明理工大學申請的專利一種基于Transformer的跨模態融合目標檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114966696B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111588292.1，技術領域涉及：G01S13/931；該發明授權一種基于Transformer的跨模態融合目標檢測方法是由沈韜;向思佳;曾凱;馬倩;張小青設計研發完成，并于2021-12-23向國家知識產權局提交的專利申請。

本一種基于Transformer的跨模態融合目標檢測方法在說明書摘要公布了：本發明涉及一種基于Transformer的跨模態融合目標檢測方法，屬于圖像處理技術領域。本發明利用雷達傳感器收集雷達數據同時攝像頭收集圖像數據。將毫米波雷達信息與圖像信息進行對齊操作，包括時間對齊和空間坐標轉換，同時將雷達特征映射到圖像平面上。依據雷達物理特性對雷達信息進行預處理。構建特征提取網絡，分別提取雷達特征和圖像特征。設計雷達與視覺特征交互融合模塊，充分考慮跨模態信息交互和上下文環境信息的補充學習。本發明與現有技術相比，將周圍環境信息結合跨模態信息進行聯合學習。解決了傳統方法僅僅只能獲取相同位置信息，缺乏對周圍環境信息的感知的問題，同時降低了在惡劣天氣和復雜場景下的誤檢率以及漏檢率。

本發明授權一種基于Transformer的跨模態融合目標檢測方法在權利要求書中公布了：1.一種基于Transformer的跨模態融合目標檢測方法，其特征在于： Step1：分別從毫米波雷達傳感器及攝像頭提取雷達數據信息以及視覺圖像信息； Step2：將雷達信息以點云數據的形式呈現，并將兩種模態的數據進行時間與空間的對齊； Step3：使用坐標轉換將3D雷達點云信息映射到圖像的2D平面上，映射后的雷達信息是一個含有18個通道的矩陣，其大小與圖像矩陣保持一致； Step4：對單個雷達點進行擴充增強； Step5：將經過增強后的雷達信息與圖像數據進行特征提取及融合； Step6：最后，對其進行分類和識別； 所述Step3具體步驟為： Step3.1：首先明確雷達點映射到圖像平面的初始位置，記為Oi； 其中，xi是第i個雷達點的垂直偏移，h是雷達傳感器安裝的初始高度，τ和是超參數，分別是位置因子和垂直偏移因子； Step3.2：為了補充雷達傳感器檢測目標時，目標高度信息的缺失，將單個雷達點擴展成為縱向擴充的線段線段長度基于不同目標的雷達散射截面積RCSi以及距離disti進行自適應調整，以擬合目標呈現在圖像的真實高度： 其中，α和β為超參數，分別為距離因子和散射截面積因子； Step3.3：基于雷達點初始位置Oi，進行高度上的增強，將增強線段分為兩個部分l1和l2： Step3.4：依據雷達散射截面積RCSi對目標進行橫向增強，增強寬度為Si，以補充缺失的寬度信息； 所述Step4具體步驟為： Step4.1：明確雷達點映射在圖像上的空間位置坐標； Step4.2：依據目標距離傳感器的距離以及雷達傳回的雷達截面積進行建模，獲取目標顯示在圖像上的高度，將高度記為 Step4.3：將原始雷達點依據獲取的高度在圖像上擴充成一條長度為的線段； Step4.4：基于雷達截面積信息對增強的線段橫向擴充，擴充寬度為S，此時經過完整增強后的是一個矩形區域，該區域即為雷達重點關注區域，且該區域內的全部信息都與增強前的單個雷達點信息保持一致； 所述Step5具體步驟為： Step5.1：使用VGG16作為特征提取網絡，輸入分別為雷達信息與圖像信息，經過每一個block后進行特征融合； Step5.2：構建RC-Attention，實現不同模態相似性的計算； Step5.3：基于RC-Attention構建特征融合模塊Multi-Transformer，實現特征的跨模態融合及上下文信息的交互； 所述特征提取網絡使用VGG16，并在每個block之間進行跨模態特征的融合； 在特征提取網絡第三、四、五個block之后，使用Multi-Transformer模塊進行多模態特征的融合； 模塊的輸入分別為雷達特征，以及圖像特征，在Encoder和Decoder中實現模態間以及模態內的相似性計算，其中RC-Attention通過計算兩個模態特征圖中任意位置信息的相似性，賦予不同模態間相似性權重，實現跨模態特征匹配，從而達到跨模態信息的交互； 輸出為融合了圖像信息的雷達特征，以及融合了雷達信息的圖像特征。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人昆明理工大學，其通訊地址為：650093 云南省昆明市五華區學府路253號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。