買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉東北大學申請的專利一種面向多模態的幽默識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119863742B 。

龍圖騰網通過國家知識產權局官網在2025-09-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510021534.0，技術領域涉及：G06V20/40；該發明授權一種面向多模態的幽默識別方法是由張克勤;鄧丹;楊浩宇;趙雄雄;李婧;韓東紅設計研發完成，并于2025-01-07向國家知識產權局提交的專利申請。

本一種面向多模態的幽默識別方法在說明書摘要公布了：本發明提供了一種面向多模態的幽默識別方法，涉及多模態幽默識別技術領域，在一種實現方式中，本發明將引入的外部知識作為單獨模態，并與文本、音頻和視頻模態進行融合。先通過全連接層進行維度對齊，再將其拼接輸入到Transformer中學習四種模態之間的交互關系，同時借助交叉注意力機制對模態融合進行了優化，由此解決了外部知識引入和模態融合方案的問題。在另一種實現方式中，通過圖注意力網絡進行數據增強，來彌補當前數據集數量稀缺的問題，將相關模態進行融合拼接，然后送入到交叉注意力網絡中，再通過多頭自注意力層進一步融合，最后輸入到最大池層獲得融合向量的單一特征表示，得到幽默極性的預測概率分布，由此得到更加有效的模態融合。

本發明授權一種面向多模態的幽默識別方法在權利要求書中公布了：1.一種面向多模態的幽默識別方法，其特征在于，包括： 步驟1：獲取多個輸入視頻數據，所述輸入視頻數據包括輸入文本、人臉圖像和音頻信息； 步驟2：針對步驟1中的每個輸入視頻數據，對輸入文本進行分詞和向量嵌入，得到最終的文本向量，將最終的文本向量嵌入表示輸入到ALBERT模型中，得到文本模態特征Ut； 步驟3：針對步驟1中的每個輸入視頻數據，通過仿射變換技術對人臉圖像進行對齊和校準，得到對齊后的人臉圖像；將對齊后的人臉圖像中的人臉部分裁出，得到第一圖像，將第一圖像輸入到深度卷積神經網絡CNN中，得到人臉特征向量，對人臉特征向量進行L2歸一化，得到歸一化后的人臉特征向量，在歸一化后的人臉特征向量中，選取動作單元和臉型參數特征作為最終的人臉圖像特征fv； 步驟4：針對步驟1中的所述音頻信息，在音頻信息中提取音高信息，通過COVAREP對音高信息進行提取，得到多個音高特征，通過SPS軟件對多個音高特征進行處理，得到降維后的音頻特征fa； 步驟5：針對步驟1中的每個輸入視頻數據，將輸入文本分別提取上下文的幽默特征和笑點的幽默特征，進而根據幽默特征、文本模態特征Ut、最終的人臉圖像特征fv和音頻特征fa，得到視覺模態特征Uv、音頻模態特征Ua和幽默模態特征Uf； 步驟6：對文本模態特征Ut、視覺模態特征Uv、音頻模態特征Ua和幽默模態特征Uf進行處理，得到表征幽默極性的預測概率分布P，具體通過步驟A或步驟B實現： 步驟A：將文本模態特征Ut、視覺模態特征Uv、音頻模態特征Ua和幽默模態特征Uf輸入線性層，得到最終的文本模態特征U′t、最終的視覺模態特征U′v、最終的音頻模態特征U′a和最終的幽默模態特征U′f，對最終的文本模態特征U′t、最終的視覺模態特征U′v、最終的音頻模態特征U′a和最終的幽默模態特征U′f進行拼接，將拼接后的結果通過多頭自注意力機制和全連接層進行處理，得到表征輸入視頻數據的幽默極性的預測概率分布P； 步驟B：通過圖注意力網絡對文本模態特征Ut、視覺模態特征Uv、音頻模態特征Ua和幽默模態特征Uf進行更新，將更新后的特征通過交叉注意力機制、線性變換、多頭交叉注意力機制和多頭自注意力層，得到表征輸入視頻數據的幽默極性的預測概率分布P； 步驟7：將預測概率分布P作為預測值，并獲取輸入視頻數據對應的表征幽默極性的真實值，根據預測值和真實值，計算損失函數值，具體通過以下公式實現： 其中，BinaryCrossEntropy為損失函數值，N為輸入視頻數據的個數，yi為第i個輸入視頻數據的真實值，y′i為第i個輸入視頻數據的預測值； 通過損失函數值，對嵌入向量矩陣、深度卷積神經網絡CNN、Transformer編碼器、線性層參數W1和b1以及全連接層的參數W2和b2進行更新，直到損失函數值小于預設閾值，此時輸出的預測概率分布P為輸入視頻數據的幽默極性預測結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人東北大學，其通訊地址為：110819 遼寧省沈陽市和平區文化路3號巷11號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。