買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉廣東工業大學申請的專利一種跨模態檢索模型建模方法、裝置、終端及介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120492701B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510969597.9，技術領域涉及：G06F16/908；該發明授權一種跨模態檢索模型建模方法、裝置、終端及介質是由孫為軍;馮藝威;房小兆;侯輝宇;黃力興設計研發完成，并于2025-07-15向國家知識產權局提交的專利申請。

本一種跨模態檢索模型建模方法、裝置、終端及介質在說明書摘要公布了：本申請公開了一種跨模態檢索模型建模方法、裝置、終端及介質，涉及跨模態檢索技術領域，本申請提供的方案首先基于不同模態的樣本數據，按照不同的模態類型對樣本數據進行特征解耦，再基于解耦后的特征計算溫度參數以及構建跨模態對比學習模型架構，再通過跨模態對比學習模型的迭代訓練，得到跨模態檢索模型。本方案通過將不同模態數據的整體特征分解為具有明確語義指向且維度統一的多粒度特征，保留了模態數據內部豐富的語義信息，能夠為后續的跨模態對比學習提供了更具區分度和針對性的特征表示，有助于提升跨模態檢索模型對復雜語義關系的理解和匹配能力，從而提高跨模態檢索的整體性能。

本發明授權一種跨模態檢索模型建模方法、裝置、終端及介質在權利要求書中公布了：1.一種跨模態檢索模型建模方法，其特征在于，包括： 獲取不同模態的樣本數據； 根據所述樣本數據對應的模態類型，結合預設的模態類型與特征解耦處理方式的對應關系，對所述樣本數據進行特征解耦處理，得到不同粒度的解耦粒度特征，其中，每種模態類型的樣本數據解耦得到的粒度數量均相同，所述解耦粒度特征包括：實體對象粒度特征、描述屬性粒度特征和場景語境粒度特征； 根據所述解耦粒度特征，通過溫度參數計算方式，得到所述粒度對應的溫度參數； 計算不同樣本數據在同一粒度條件下的解耦粒度特征相似度，基于所述解耦粒度特征相似度與所述粒度對應的溫度參數的比值，構建單粒度對比損失函數； 根據所述單粒度對比損失函數，結合分層正交約束和生成對抗損失函數，構建總損失函數； 根據所述總損失函數，結合反向傳播算法對初始跨模態檢索模型進行迭代訓練，當所述總損失函數的輸出或迭代次數滿足預設的模型訓練終止條件時，得到跨模態檢索模型； 其中，所述根據所述樣本數據對應的模態類型，結合預設的模態類型與特征解耦處理方式的對應關系，對所述樣本數據進行特征解耦處理，得到不同粒度的解耦粒度特征包括： 當所述樣本數據對應的模態類型為視頻圖像特征時，通過門控通道注意力機制進行分解，得到的實體對象粒度特征為圖像中的目標對象，描述屬性粒度特征為目標對象的對象屬性，場景語境粒度特征為場景環境特征； 當所述樣本數據對應的模態類型為音頻特征時，通過頻譜圖分解得到的實體對象粒度特征為音調，描述屬性粒度特征為節奏，場景語境粒度特征為音色粒度； 當所述樣本數據對應的模態類型為文本特征時，通過語義角色標注提取出的實體對象粒度特征為事件、描述屬性粒度特征為情感、場景語境粒度特征為上下文信息。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人廣東工業大學，其通訊地址為：510080 廣東省廣州市越秀區東風東路729號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。