深圳大學趙睿獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉深圳大學申請的專利基于多模態蒸餾的相機三維目標檢測方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120374963B 。
龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510868667.1,技術領域涉及:G06V10/25;該發明授權基于多模態蒸餾的相機三維目標檢測方法和系統是由趙睿;王朔遙設計研發完成,并于2025-06-26向國家知識產權局提交的專利申請。
本基于多模態蒸餾的相機三維目標檢測方法和系統在說明書摘要公布了:本發明所提供的基于多模態蒸餾的相機三維目標檢測方法和系統,涉及目標檢測技術領域,該方法包括:確定訓練好的以點云和多視角相機圖像作為輸入的多模態教師模型,利用教師模型中的點云特征對構建出的以多視角相機圖像作為輸入的學生模型進行跨模態對比蒸餾,使其具備空間幾何推理能力構造出偽點云特征,利用多模態適應性平滑蒸餾方式,對齊基于偽點云特征和圖像特征異構融合得到的學生模型特征和基于點云特征和圖像特征通道融合得到的教師模型特征,在教師模型的回歸輸出優于學生模型的回歸輸出時,選擇將其回歸框知識蒸餾至學生模型中,通過上述訓練過程,能夠保證學生模型和教師模型結構上的一致性,提高學生模型的三維目標檢測準確性。
本發明授權基于多模態蒸餾的相機三維目標檢測方法和系統在權利要求書中公布了:1.一種基于多模態蒸餾的相機三維目標檢測方法,其特征在于,所述方法包括: 確定訓練好的以點云和多視角相機圖像作為輸入進行三維目標檢測的多模態教師模型,并構建以多視角相機圖像作為輸入的學生模型; 在訓練學生模型的過程中,利用多模態教師模型中的點云特征對學生模型中的圖像特征進行跨模態對比蒸餾,得到具備空間幾何推理能力的學生模型,以便學生模型基于所述圖像特征構造出相應的偽點云特征; 利用多模態適應性平滑蒸餾方式,對齊學生模型特征和教師模型特征;其中,所述學生模型特征為學生模型基于所述偽點云特征和所述圖像特征進行異構融合得到的融合后特征,并且所述教師模型特征為多模態教師模型基于所述點云特征和所述圖像特征進行通道融合得到的融合后特征; 獲取訓練過程中學生模型的回歸輸出和多模態教師模型的回歸輸出,并判斷多模態教師模型的回歸輸出是否優于學生模型的回歸輸出; 在多模態教師模型的回歸輸出優于學生模型的回歸輸出時,則將多模態教師模型所具備的回歸框知識蒸餾傳遞至學生模型中,得到訓練好的用于三維目標檢測的學生模型; 其中,所述利用多模態教師模型中的點云特征對學生模型中的圖像特征進行跨模態對比蒸餾,包括: 計算正樣本特征對的相似度強度和負樣本特征對的相似度強度; 利用預設對比損失函數,并基于所述正樣本特征對的相似度強度和所述負樣本特征對的相似度強度計算出相應的對比損失結果; 基于所述對比損失結果控制學生模型隱式學習與多模態教師模型共享的特征空間; 其中,正樣本特征對為在同一場景下,多模態教師模型提取的點云特征與學生模型對應空間位置提取的圖像特征,負樣本特征對為多模態教師模型提取的點云特征與學生模型在其他場景提取的圖像特征或在同一場景下,多模態教師模型提取的點云特征與學生模型在非對應空間位置提取的圖像特征; 并且,所述預設對比損失函數為: ; 其中,表示對比損失結果,表示余弦相似度函數,表示多模態教師模型中的點云特征,表示正樣本特征,表示負樣本特征,表示縮放因子,表示縮放后的正樣本特征對的相似度強度,表示縮放后的負樣本特征對的相似度強度,表示所有縮放后的負樣本特征對的相似度強度之和。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人深圳大學,其通訊地址為:518060 廣東省深圳市南山區粵海街道南海大道3688號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。