買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山東交通學(xué)院申請的專利一種基于單模態(tài)和多模態(tài)聯(lián)合訓(xùn)練的情感分析方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN116186236B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202310149494.9，技術(shù)領(lǐng)域涉及：G06F16/335；該發(fā)明授權(quán)一種基于單模態(tài)和多模態(tài)聯(lián)合訓(xùn)練的情感分析方法及系統(tǒng)是由朱振方;李萌;李克峰;亓江濤;裴洪麗;張廣淵;王朋設(shè)計研發(fā)完成，并于2023-02-21向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于單模態(tài)和多模態(tài)聯(lián)合訓(xùn)練的情感分析方法及系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種基于單模態(tài)和多模態(tài)聯(lián)合訓(xùn)練的情感分析方法及系統(tǒng)，涉及多模態(tài)情感分析技術(shù)領(lǐng)域。為了兼顧多模態(tài)的交互和獨立，本發(fā)明提出了一種名為JTUM的融合策略，該策略包含了三個單模態(tài)任務(wù)和多模態(tài)任務(wù)。在單模態(tài)任務(wù)中，使用單模態(tài)標(biāo)簽生成模塊來獲得獨立的單模態(tài)監(jiān)督，學(xué)習(xí)單模態(tài)表示。在多模態(tài)任務(wù)中，使用crossmodaltransformer來學(xué)習(xí)多模態(tài)序列之間的交互。最后，使用自注意力機制收集時間信息優(yōu)化預(yù)測結(jié)果。本發(fā)明的方法既關(guān)注了單個模態(tài)的特性，又關(guān)注了跨模態(tài)間的相互作用，提高了預(yù)測模型的魯棒性能夠獲得更為準(zhǔn)確的情感分析結(jié)果，為平臺智能管理和興趣推薦等大數(shù)據(jù)處理技術(shù)的應(yīng)用提供了重要的技術(shù)輔助。

本發(fā)明授權(quán)一種基于單模態(tài)和多模態(tài)聯(lián)合訓(xùn)練的情感分析方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于單模態(tài)和多模態(tài)聯(lián)合訓(xùn)練的情感分析方法，其特征在于，包括以下步驟： 獲取視頻片段，提取文本、音頻和視覺三種模態(tài)；對三種模態(tài)分別進行編碼得到單獨的特征向量表示； 針對模態(tài)的獨立性和交互性分別建立單模態(tài)任務(wù)和多模態(tài)任務(wù); 將三種模態(tài)的特征向量輸入單模態(tài)任務(wù)獲得每個模態(tài)的單模態(tài)標(biāo)簽； 將三種模態(tài)的特征向量輸入多模態(tài)任務(wù)進行兩兩模態(tài)交互，得到三種跨模態(tài)交互后的模態(tài)表示； 利用三種跨模態(tài)交互后的模態(tài)表示結(jié)合自注意力機制輸出多模態(tài)任務(wù)的預(yù)測結(jié)果； 在單模態(tài)標(biāo)簽和多模態(tài)標(biāo)簽的監(jiān)督下聯(lián)合訓(xùn)練單模態(tài)任務(wù)和多模態(tài)任務(wù)，將訓(xùn)練后多模態(tài)任務(wù)輸出的預(yù)測結(jié)果作為情感分析的最終結(jié)果； 將三種模態(tài)的特征向量輸入多模態(tài)任務(wù)進行兩兩模態(tài)交互，得到三種跨模態(tài)交互后的模態(tài)表示的具體步驟為： 將三種模態(tài)的特征向量通過全連接層對特征進行轉(zhuǎn)換； 將轉(zhuǎn)換后的特征向量表示輸入crossmodaltransformer中獲取跨模態(tài)之間的交互信息； 串聯(lián)crossmodaltransformers的輸出，得到三種跨模態(tài)交互后的模態(tài)表示，具體為： 其中，，，表示三種跨模態(tài)交互后的模態(tài)，a表示音頻，t表示文本，v表示視覺；表示源模態(tài)a到目標(biāo)模態(tài)t的第L層crossmodaltransformer輸出，表示源模態(tài)v到目標(biāo)模態(tài)t的第L層crossmodaltransformer輸出；表示源模態(tài)a到目標(biāo)模態(tài)v的第L層crossmodaltransformer輸出，表示源模態(tài)t到目標(biāo)模態(tài)v的第L層crossmodaltransformer輸出；表示源模態(tài)t到目標(biāo)模態(tài)a的第L層crossmodaltransformer輸出，表示源模態(tài)t到目標(biāo)模態(tài)a的第L層crossmodaltransformer輸出。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人山東交通學(xué)院，其通訊地址為：250300 山東省濟南市天橋區(qū)交校路5號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。