買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網獲悉鄭州輕工業(yè)大學申請的專利基于模態(tài)表示空間和疊加自注意力的多模態(tài)情感分析方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產權局授予，授權公告號為：CN115205759B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202210917467.7，技術領域涉及：G06V20/40；該發(fā)明授權基于模態(tài)表示空間和疊加自注意力的多模態(tài)情感分析方法是由李祖賀;郭青冰;支俊;王延峰;張亞洲;庾駿;劉偉華;陳輝;卜祥洲;朱寒雪設計研發(fā)完成，并于2022-08-01向國家知識產權局提交的專利申請。

本基于模態(tài)表示空間和疊加自注意力的多模態(tài)情感分析方法在說明書摘要公布了：本發(fā)明提出了一種基于模態(tài)表示空間和疊加自注意力的多模態(tài)情感分析方法，用以解決現有方法在處理多模態(tài)數據時所面臨的語義鴻溝等技術性問題；其步驟為：首先，從原始視頻數據中分別提取文本、語音和圖像三個模態(tài)的特征向量；并利用模態(tài)表示空間分割方法分別將三個模態(tài)的特征向量映射到情感表示空間和噪聲表示空間，獲取模態(tài)情感表示和模態(tài)噪聲表示；其次，將獲取到的模態(tài)情感表示傳入疊加自注意力機制中，挖掘模態(tài)情感表示之間的關聯信息并進行拼接；最后，在聯合損失約束下將拼接后的模態(tài)情感表示傳入情感預測分類層進行分類預測，輸出最優(yōu)情感預測值。本發(fā)明能夠在進行多模態(tài)情感分析時跨越語義鴻溝，得到更加可靠的情感預測結果。

本發(fā)明授權基于模態(tài)表示空間和疊加自注意力的多模態(tài)情感分析方法在權利要求書中公布了：1.一種基于模態(tài)表示空間和疊加自注意力的多模態(tài)情感分析方法，其特征在于，其步驟如下： 步驟一：從原始視頻數據中分別提取文本、語音和圖像三個模態(tài)的特征向量； 步驟二：利用模態(tài)表示空間分割方法分別將文本、語音和圖像三個模態(tài)的特征向量映射到情感表示空間和噪聲表示空間，獲取模態(tài)情感表示和模態(tài)噪聲表示； 步驟三：將獲取到的模態(tài)情感表示傳入疊加自注意力機制中，挖掘模態(tài)情感表示之間的關聯信息，并將蘊含關聯信息的模態(tài)情感表示進行拼接； 步驟四：將模態(tài)情感表示損失、模態(tài)噪聲表示損失和分類損失作為聯合損失約束，在聯合損失約束下將拼接后的模態(tài)情感表示傳入情感預測分類層進行分類預測，輸出最優(yōu)情感預測值； 在步驟二中，具體實現方法為： S21、借助情感編碼器分別將文本特征向量Ut、語音特征向量Ua和圖像特征向量Uv傳入情感表示空間，得到尺寸大小均為1*d的文本情感表示St、語音情感表示Sa和圖像情感表示Sv，具體計算公式為： Sm＝EsUm；θs； 其中，m∈{t,a,v}；Es表示情感編碼器，θs是情感編碼器的參數； S22、借助文本噪聲編碼器將文本特征向量Ut傳入文本噪聲空間，得到尺寸大小為1*d的文本噪聲表示Pt，具體計算公式為： 其中，表示文本噪聲編碼器，是文本噪聲編碼器的參數； S23、借助語音噪聲編碼器將語音特征向量Ua傳入語音噪聲空間，得到尺寸大小為1*d的語音噪聲表示Pa，具體計算公式為： 其中，表示語音噪聲編碼器，是語音噪聲編碼器的參數； S24、借助圖像噪聲編碼器將圖像特征向量Uv傳入圖像噪聲空間，得到尺寸大小為1*d的圖像噪聲表示Pv，具體計算公式為： 其中，表示圖像噪聲編碼器，是獨屬于圖像噪聲編碼器的參數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人鄭州輕工業(yè)大學，其通訊地址為：450000 河南省鄭州市高新技術產業(yè)開發(fā)區(qū)科學大道136號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。