華中科技大學凌賀飛獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉華中科技大學申請的專利基于去噪和動量蒸餾的跨模態檢索模型構建方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116861021B 。
龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310750571.6,技術領域涉及:G06F16/583;該發明授權基于去噪和動量蒸餾的跨模態檢索模型構建方法是由凌賀飛;李南希;李平設計研發完成,并于2023-06-21向國家知識產權局提交的專利申請。
本基于去噪和動量蒸餾的跨模態檢索模型構建方法在說明書摘要公布了:本發明公開了一種基于去噪和動量蒸餾的跨模態檢索模型構建方法,屬于跨模態檢索領域,方法包括:構建包含N個級聯的第一模態數據編碼器、以及N個級聯的第二模態數據編碼器的編碼單元;在第i個第一、第二模態數據編碼器的輸出端之間設置第i自監督去噪單元,用于對第i層的原始聯合特征標記依次進行加噪、解碼重構,得到第i層的重構聯合特征標記,i∈1,N?1;進一步構建跨模態檢索模型;以重構聯合特征標記和原始聯合特征標記之間的KL散度最小為目標,構建模態交互損失,以進一步形成總損失函數;以總損失函數收斂為目標,訓練跨模態檢索模型。加強模態間關聯的學習,提高模型檢索的準確率,且具有高效的推理速度。
本發明授權基于去噪和動量蒸餾的跨模態檢索模型構建方法在權利要求書中公布了:1.一種基于去噪和動量蒸餾的跨模態檢索模型構建方法,其特征在于,包括: 構建編碼單元,所述編碼單元包含N個級聯的第一模態數據編碼器、以及N個級聯的第二模態數據編碼器,N>1; 在第i個第一模態數據編碼器和第i個第二模態數據編碼器的輸出端之間設置第i自監督去噪單元,用于對第i層的原始聯合特征標記依次進行加噪、解碼重構,得到第i層的重構聯合特征標記,i∈1,N-1; 構建跨模態檢索模型,所述跨模態檢索模型包含:設置于編碼單元輸出端的融合去噪單元、動量蒸餾單元和相似度計算器,以及所述編碼單元和所述自監督去噪單元; 以重構聯合特征標記和原始聯合特征標記之間的KL散度最小為目標,構建模態交互損失,并構建包含所述模態交互損失、融合去噪損失和跨模態對比學習損失的總損失函數; 以所述總損失函數收斂為目標,訓練所述跨模態檢索模型; 第一模態為文本,第二模態為圖像; 所述第i自監督去噪單元具體用于: 連接第i個第一模態數據編碼器的輸出和第i個第二模態數據編碼器的輸出,得到第i層的原始聯合特征標記; 采用遮掩的方式在第i層的原始聯合特征標記中加入噪聲,并通過輕量跨模態解碼器,對包含噪聲的聯合特征標記進行解碼重構,得到第i層的重構聯合特征標記。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人華中科技大學,其通訊地址為:430074 湖北省武漢市洪山區珞喻路1037號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。