買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉浙江工業大學申請的專利一種具有魯棒性的多模態情感分析方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116522107B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310248746.3，技術領域涉及：G06F18/213；該發明授權一種具有魯棒性的多模態情感分析方法是由宦若虹;鐘國偉;梁榮華設計研發完成，并于2023-03-09向國家知識產權局提交的專利申請。

本一種具有魯棒性的多模態情感分析方法在說明書摘要公布了：本發明公開了一種具有魯棒性的多模態情感分析方法，首先獲取待預測對象的文本、音頻和視頻三種模態特征序列中的至少一個，對于缺失的模態特征序列，通過訓練好的模態翻譯模塊生成所缺失的模態，從而得到三種模態特征序列。然后將三種模態特征序列輸入到訓練好的情感預測模塊中，得到待預測對象的情感預測結果。本發明技術方案使用MGT模型來統一過去在模態翻譯中的編碼解碼架構，并使用MUT模型來對多模態信息進行融合，為了進一步得到統一的多模態表征，還引入了全零初始化的特殊序列MMSeq，不僅能夠同時克服模態缺失和多模態序列非對齊的問題，并且還能夠提高情感分析的準確率。

本發明授權一種具有魯棒性的多模態情感分析方法在權利要求書中公布了：1.一種具有魯棒性的多模態情感分析方法，其特征在于，所述具有魯棒性的多模態情感分析方法，包括： 獲取待預測對象的文本、音頻和視頻三種模態特征序列中的至少一個，對于缺失的模態特征序列，通過訓練好的模態翻譯模塊生成所缺失的模態，從而得到三種模態特征序列； 將三種模態特征序列輸入到訓練好的情感預測模塊中，得到待預測對象的情感預測結果； 其中，所述將三種模態特征序列輸入到訓練好的情感預測模塊中，得到待預測對象的情感預測結果，包括： 將三種模態特征序列分別經過一維卷積操作，將三種模態特征序列映射到同一個特征空間； 將三種模態特征序列分別經過門控循環單元，引入歸納偏置； 引入全零初始化的特殊序列MMSeq，將特殊序列MMSeq與引入歸納偏置的三種模態特征序列分別加入位置編碼和模態類型編碼； 將加入位置編碼和模態類型編碼的特殊序列MMSeq和三種模態特征序列在時序維度進行拼接，經過多模態理解變換器處理，得到變換后的多模態拼接特征； 將多模態理解變換器輸出中的特殊序列MMSeq部分取出，作為最終的統一多模態表征，將其經過全連接層后得到情感預測結果； 所述多模態理解變換器采用公式表示如下： 其中，MUM表示多模態理解掩膜，LN表示層歸一化，FFN表示前饋神經網絡，表示多模態理解變換器第一層的輸入，XU表示時序維度拼接后的多模態特征，表示多模態理解變換器第m層的輸出； 進一步地，MUM由如下公式計算： 其中，表示MUM的輸出，X表示MUM的輸入， 分別表示網絡的權重，dk＝dv＝dh，d表示特征維度，h表示多頭注意力機制中頭的個數，為注意力矩陣，下標ij表示矩陣MASKU的第i行第j列，當其值為0時，表示i處的字符可以關注到j處的字符，當其值為-∞時，表示i處的字符無法關注到j處的字符。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江工業大學，其通訊地址為：310014 浙江省杭州市下城區潮王路18號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。