買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉武漢科技大學(xué)申請(qǐng)的專利面向不確定模態(tài)缺失的在線協(xié)作會(huì)話情感識(shí)別方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119475088B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411525916.9，技術(shù)領(lǐng)域涉及：G06F18/2415；該發(fā)明授權(quán)面向不確定模態(tài)缺失的在線協(xié)作會(huì)話情感識(shí)別方法及系統(tǒng)是由楊娟;黃奧設(shè)計(jì)研發(fā)完成，并于2024-10-30向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本面向不確定模態(tài)缺失的在線協(xié)作會(huì)話情感識(shí)別方法及系統(tǒng)在說明書摘要公布了：本發(fā)明涉及面向不確定模態(tài)缺失的在線協(xié)作會(huì)話情感識(shí)別方法及系統(tǒng)，該方法包括：根據(jù)不同階段將協(xié)作會(huì)話數(shù)據(jù)分割為多個(gè)子協(xié)作會(huì)話數(shù)據(jù)。將每個(gè)子協(xié)作會(huì)話數(shù)據(jù)轉(zhuǎn)化為會(huì)話文本數(shù)據(jù)，對(duì)每個(gè)子協(xié)作會(huì)話數(shù)據(jù)進(jìn)行情感標(biāo)注。抽取預(yù)處理后的子協(xié)作會(huì)話數(shù)據(jù)中的單模態(tài)特征，通過LSTM層捕捉子協(xié)作會(huì)話數(shù)據(jù)中的上下文信息，以獲取各模態(tài)表征。將多個(gè)單模態(tài)特征進(jìn)行拼接處理，探索多模態(tài)融合特征與單模態(tài)特征之間的跨模態(tài)情感促進(jìn)信息。構(gòu)建多視角情感推理圖，通過圖注意力機(jī)制更新節(jié)點(diǎn)表征，以獲取融合話語(yǔ)表征。通過融合話語(yǔ)表征對(duì)會(huì)話情感預(yù)測(cè)層訓(xùn)練得到協(xié)作會(huì)話情感識(shí)別模型，并調(diào)用協(xié)作會(huì)話情感識(shí)別模型對(duì)預(yù)處理后的當(dāng)前協(xié)作會(huì)話數(shù)據(jù)進(jìn)行識(shí)別。

本發(fā)明授權(quán)面向不確定模態(tài)缺失的在線協(xié)作會(huì)話情感識(shí)別方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種面向不確定模態(tài)缺失的在線協(xié)作會(huì)話情感識(shí)別方法，其特征在于，所述方法包括： 通過音視頻采集設(shè)備獲取協(xié)作會(huì)話數(shù)據(jù)，并根據(jù)協(xié)作學(xué)習(xí)過程的不同階段將所述協(xié)作會(huì)話數(shù)據(jù)分割為具有時(shí)序關(guān)系的多個(gè)子協(xié)作會(huì)話數(shù)據(jù)； 根據(jù)協(xié)作學(xué)習(xí)過程中不同學(xué)習(xí)者的會(huì)話輪次將每個(gè)所述子協(xié)作會(huì)話數(shù)據(jù)進(jìn)一步分割為具有時(shí)間先后順序的多個(gè)協(xié)作話語(yǔ)數(shù)據(jù)； 對(duì)所述多個(gè)協(xié)作話語(yǔ)數(shù)據(jù)進(jìn)行預(yù)處理，以在所述協(xié)作話語(yǔ)數(shù)據(jù)中缺少任意模態(tài)數(shù)據(jù)時(shí)，調(diào)用BERT模型中的詞匯表中的UNK對(duì)缺失的對(duì)應(yīng)模態(tài)數(shù)據(jù)進(jìn)行填充； 其中，每個(gè)協(xié)作話語(yǔ)數(shù)據(jù)至少包括兩個(gè)學(xué)習(xí)者的多輪次協(xié)作交互話語(yǔ)，且每輪次的所述協(xié)作交互話語(yǔ)均具有音頻模態(tài)、視頻模態(tài)以及文本模態(tài)的模態(tài)表征，且所述多個(gè)協(xié)作話語(yǔ)數(shù)據(jù)用于結(jié)合具有感情標(biāo)注的子協(xié)作會(huì)話數(shù)據(jù)構(gòu)建協(xié)作會(huì)話數(shù)據(jù)集，當(dāng)所述協(xié)作話語(yǔ)數(shù)據(jù)中缺少音頻模態(tài)或視頻模態(tài)數(shù)據(jù)時(shí)，則通過空白幀對(duì)所述音頻模態(tài)或視頻模態(tài)數(shù)據(jù)進(jìn)行填充； 對(duì)每個(gè)子協(xié)作會(huì)話數(shù)據(jù)進(jìn)行情感標(biāo)注，以確定每個(gè)子協(xié)作會(huì)話數(shù)據(jù)中學(xué)習(xí)者的情感狀態(tài)； 調(diào)用單模態(tài)特征抽取器抽取預(yù)處理后的所述子協(xié)作會(huì)話數(shù)據(jù)中的單模態(tài)特征，并將所述單模態(tài)特征作為L(zhǎng)STM層的輸入捕捉所述子協(xié)作會(huì)話數(shù)據(jù)中的上下文信息，以獲取所述子協(xié)作會(huì)話數(shù)據(jù)對(duì)應(yīng)的各模態(tài)表征； 將多個(gè)所述單模態(tài)特征進(jìn)行拼接處理，得到多模態(tài)融合特征，并基于Transformer架構(gòu)探索所述多模態(tài)融合特征與所述單模態(tài)特征之間的跨模態(tài)情感促進(jìn)信息； 基于增強(qiáng)的單模態(tài)特征構(gòu)建具有動(dòng)態(tài)上下文學(xué)習(xí)窗口的多視角情感推理圖，并通過圖注意力機(jī)制更新所述多視角情感推理圖中的節(jié)點(diǎn)表征，以獲取所述子協(xié)作會(huì)話數(shù)據(jù)的融合話語(yǔ)表征； 將所述融合話語(yǔ)表征作為會(huì)話情感預(yù)測(cè)層的輸入，訓(xùn)練得到協(xié)作會(huì)話情感識(shí)別模型，并調(diào)用所述協(xié)作會(huì)話情感識(shí)別模型對(duì)預(yù)處理后的當(dāng)前協(xié)作會(huì)話數(shù)據(jù)進(jìn)行識(shí)別，得到相應(yīng)的情感識(shí)別結(jié)果； 其中，所述協(xié)作會(huì)話數(shù)據(jù)為所述音視頻采集設(shè)備對(duì)在線協(xié)作學(xué)習(xí)過程中的會(huì)話交互內(nèi)容進(jìn)行采集得到的，包括視頻數(shù)據(jù)和音頻數(shù)據(jù)，所述預(yù)處理用于對(duì)情感標(biāo)注后的所述子協(xié)作會(huì)話數(shù)據(jù)進(jìn)行模態(tài)填充，所述單模態(tài)抽取器包括預(yù)訓(xùn)練的fast-RCNN、Wav2vec2.0和BERT模型，所述多視角情感推理圖包括文本模態(tài)情感推理圖、音頻模態(tài)情感推理圖以及視頻模態(tài)情感推理圖，所述會(huì)話情感預(yù)測(cè)層由全連接層和Softmax層組成，用于為所述融合話語(yǔ)表征輸出預(yù)測(cè)的情感標(biāo)簽。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人武漢科技大學(xué)，其通訊地址為：430081 湖北省武漢市青山區(qū)和平大道947號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。