買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州電子科技大學申請的專利一種基于模態增強卷積圖的多模態情感分類方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115659242B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211377291.7，技術領域涉及：G06F18/241；該發明授權一種基于模態增強卷積圖的多模態情感分類方法是由孔萬增;倪斌斌;唐佳佳;楊宇濤;戴瑋成;朱莉設計研發完成，并于2022-11-04向國家知識產權局提交的專利申請。

本一種基于模態增強卷積圖的多模態情感分類方法在說明書摘要公布了：本發明公開一種基于模態增強卷積圖的多模態情感分類方法。本發明提出了一個新的模態增強融合框架，它基于圖卷積神經網絡，為融合未對齊的多模態序列提供了一個有效的方法。在文本模態的幫助下，首先使用多模態增強模塊來增強視覺和聽覺模態以獲得具有更強情感鑒別性的模態信息，從而幫助后續的聚合過程。此外，還構建了文本驅動的多模態特征圖來進行模態融合，這可以有效地處理圖卷積聚合過程中各模態之間的不平衡問題。最后將模態增強卷積圖中提取的融合信息整合到文本表征中，從而動態地將原始文本表征向最準確的多模態語義空間轉化。相比于現有多模態融合方法，本發明的結果更優。

本發明授權一種基于模態增強卷積圖的多模態情感分類方法在權利要求書中公布了：1.一種基于模態增強卷積圖的多模態情感分類方法，其特征在于包括以下步驟： 步驟1、獲取多模態數據；所述多模態數據包括語音模態、視頻模態、文本模態； 步驟2、多模態信息數據預處理，抽取初級表征； 步驟3、利用多模態增強，獲取與文本模態最相關的語音模態和視頻模態中的復雜情感上下文相關信息；具體是： 3-1將文本模態初級特征數據Xt和其他模態初級特征數據Xs，s∈{a,v}通過矩陣點乘運算映射到一個跨模態情感交互空間，即構建一個聯合的跨模態情感表示空間，表示為： Xm＝Xt⊙Xs,s∈{a,v}#3 其中⊙表示矩陣點乘運算；a、v分別表示語音模態和視頻模態； 3-2由于其他模態數據的信息在跨模態聯合表示空間中與文本模態一起被豐富起來，利用L2范數歸一化聯合表示數據，用以計算文本模態對其他兩種模態的影響，表示為： X′m＝||Xm||2#4 3-3利用歸一化后聯合表示數據改變輸入時其他模態數據Xs在其原始語義空間中的位置，得到文本豐富處理后的其他模態數據X's，表示為： X's＝X'm+Xs，s∈{a,v}#5 步驟4、構造多模態卷積圖進行模態融合 為了捕捉跨模態的情感信息，構建一個譜域圖卷積網絡編碼多模態語境信息，進行文本驅動的跨模態融合，得到文本驅動下的多模態情感融合信息hs； 所述譜域圖卷積網絡包括2N個多模態無向圖，其中N表示文本模態的數量，具體包括N個文本-語音模態圖Gta＝Vta,Eta，以及N個文本-視覺圖Gtv＝Vtv,Etv；Vts,s∈{v,a}表示文本模態分別與語音模態、視頻模態的話語節點；是一個包含不同模態關系的集合，表示時域和特征域中的情感語境； 步驟5、對文本驅動下的多模態情感融合信息hs進行多模態情感分類。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州電子科技大學，其通訊地址為：310018 浙江省杭州市下沙高教園區2號大街；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。