買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉東北大學申請的專利一種對比增強非同構模態融合的多模態情感分析方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119807415B 。

龍圖騰網通過國家知識產權局官網在2025-09-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411859384.2，技術領域涉及：G06F16/35；該發明授權一種對比增強非同構模態融合的多模態情感分析方法是由孔維成;楊顏澤;羅新號;喬百友設計研發完成，并于2024-12-17向國家知識產權局提交的專利申請。

本一種對比增強非同構模態融合的多模態情感分析方法在說明書摘要公布了：本發明提供了一種對比增強非同構模態融合的多模態情感分析方法，涉及情感分析技術領域，本發明通過將視覺模態特征和音頻模態特征進行融合的方法，來彌補和文本模態之間信息密度的差異，本發明設計了聯合對比學習，通過樣本內的對比學習和內本間的對比學習，得到樣本內的損失和樣本間的損失，樣本內的對比學習，旨在增強模態間一致性，樣本間的對比學習，保障每種模態特征的獨立性和獨特性，以避免過度融合導致的信息丟失，由此，本發明兼顧模態間的互補性和差異性，并彌補視覺和音頻模態與文本模態間信息密度的差異，提升情感分析模型的性能與泛化能力。

本發明授權一種對比增強非同構模態融合的多模態情感分析方法在權利要求書中公布了：1.一種對比增強非同構模態融合的多模態情感分析方法，其特征在于，包括： 步驟1：構建樣本集，所述樣本集包括多個目標樣本，所述目標樣本包括輸入樣本和輸出樣本，所述輸入樣本包括時間對齊后的視覺特征Xv、時間對齊后的音頻特征Xa和時間對齊后的文本特征Xt，所述輸出樣本為輸入樣本對應的標簽，所述標簽為輸入樣本對應的情感類別，對樣本集進行劃分，得到訓練集、驗證集和測試集； 步驟2：通過前饋網絡，對測試集中目標樣本中時間對齊后的視覺特征Xv和時間對齊后的音頻特征Xa進行處理，得到視覺模態特征Fv和音頻模態特征Fa，通過兩層LSTM提取時間對齊后的文本特征Xt的時序關系，得到文本模態特征Ft； 步驟3：根據視覺模態特征Fv和音頻模態特征Fa，獲得非文本模態特征Fav； 步驟3.1：針對視覺模態特征Fv，通過第一類L層Transformer的編碼器進行信息的組織與濃縮，得到濃縮后的視覺模態特征針對音頻模態特征Fa，通過第一類L層Transformer的編碼器進行信息的組織與濃縮，得到濃縮后的音頻模態特征 步驟3.2：獲取共享Token，所述共享Token表示為其中，f表示共享Token中數據總數；將共享TokenFb與濃縮后的音頻模態特征進行拼接，得到將通過第一類L層Transformer的編碼器，得到將與濃縮后的視覺模態特征進行拼接，得到將通過第一類L層Transformer的編碼器，得到非文本模態特征 步驟4：使用跨模態Transformer編碼器對非文本特征Fav和文本模態特征Ft進行跨模態注意力交互，得到增強后的文本特征和增強后的非文本特征 步驟5：對增強后的文本特征和增強后的非文本特征進行拼接，得到融合后的特征R，將融合后的特征R輸入到一層全連接網絡中，輸出輸入樣本的情感預測結果y，具體通過以下公式實現： y＝W2R+b2； 其中，W2和b2是全連接層的權重和偏置； 步驟6：計算樣本內對比損失值、樣本間對比損失值和分類任務的損失值； 步驟6.1：針對當前批次中所有目標樣本，針對目標樣本中的文本模態特征Ft和非文本模態特征Fav，計算樣本內對比損失值Lintra； 步驟6.2：針對每一個樣本，根據該樣本的標簽，確定該樣本的負樣本集和正樣本集，根據負樣本集生成負樣本對集合Ni，根據正樣本集生成正樣本對集合Pi，根據負樣本對集合Ni和正樣本對集合Pi，計算樣本間對比損失值Linter； 步驟6.3：根據輸出樣本和步驟5得到的輸入樣本對應的情感預測結果，使用均方誤差損失函數計算分類任務的損失值Lpred； 步驟7：根據分類任務的損失值Lpred、樣本間對比損失值Linter和樣本內對比損失值Lintra，計算總損失值Lall，具體通過以下公式實現： Lall＝Lpred+λintraLintra+λinterLinter； 其中，λintra和λinter為兩個對比學習損失權重； 根據總損失值對步驟2中前饋網絡的參數和LSTM的參數，以及步驟3中第一類L層Transformer的編碼器的參數，以及步驟4中跨模態Transformer編碼器的參數，以及步驟5中全連接網絡的參數，進行更新。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人東北大學，其通訊地址為：110819 遼寧省沈陽市和平區文化路3號巷11號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。