買(mǎi)專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州電子科技大學(xué)申請(qǐng)的專利一種跨樣本模態(tài)動(dòng)態(tài)輪轉(zhuǎn)的情感識(shí)別方法及其系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN118734248B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202410859676.X，技術(shù)領(lǐng)域涉及：G06F18/25；該發(fā)明授權(quán)一種跨樣本模態(tài)動(dòng)態(tài)輪轉(zhuǎn)的情感識(shí)別方法及其系統(tǒng)是由孔萬(wàn)增;周斐煒;唐佳佳;宋紫諾;楊紫薇;龍海濤;王寶德;馬迪設(shè)計(jì)研發(fā)完成，并于2024-06-28向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種跨樣本模態(tài)動(dòng)態(tài)輪轉(zhuǎn)的情感識(shí)別方法及其系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)一種跨樣本模態(tài)動(dòng)態(tài)輪轉(zhuǎn)的情感識(shí)別方法及其系統(tǒng)。首先獲取多模態(tài)數(shù)據(jù)及情感分類注釋，再進(jìn)行對(duì)應(yīng)的模態(tài)編碼器預(yù)處理，得到對(duì)應(yīng)初步模態(tài)特征信息。然后，使用門(mén)控殘差自注意力機(jī)制捕獲更深層次的模態(tài)注意力特征，并從模態(tài)情感語(yǔ)義信息豐富程度考量，將單模態(tài)獨(dú)立情感注釋與其結(jié)合共同計(jì)算出集成后的模態(tài)分?jǐn)?shù)序列，進(jìn)而該輪轉(zhuǎn)周期下確定的模態(tài)輪轉(zhuǎn)順序。最后，使用基于跨模態(tài)門(mén)控殘差注意力機(jī)制的多模態(tài)融合手段，依照該輪轉(zhuǎn)順序進(jìn)行融合。本發(fā)明提出了使模態(tài)自身依據(jù)獨(dú)立情感注釋動(dòng)態(tài)調(diào)整融合順序的思想，著重考慮了模態(tài)之間的情感語(yǔ)義信息不平衡問(wèn)題，探究模態(tài)主次問(wèn)題對(duì)多模態(tài)情感檢測(cè)領(lǐng)域的影響，突破了傳統(tǒng)的主次模式。

本發(fā)明授權(quán)一種跨樣本模態(tài)動(dòng)態(tài)輪轉(zhuǎn)的情感識(shí)別方法及其系統(tǒng)在權(quán)利要求書(shū)中公布了：1.一種跨樣本模態(tài)動(dòng)態(tài)輪轉(zhuǎn)的情感識(shí)別方法，其特征在于所述方法包括以下步驟： 步驟一、根據(jù)視頻，獲取多模態(tài)數(shù)據(jù)及對(duì)應(yīng)的情感分類注釋；所述多模態(tài)包括文本模態(tài)、音頻模態(tài)、視覺(jué)模態(tài)；所述情感分類注釋包括多模態(tài)統(tǒng)一情感分類注釋和三個(gè)模態(tài)獨(dú)立的情感分類注釋； 步驟二、對(duì)多模態(tài)數(shù)據(jù)經(jīng)過(guò)相應(yīng)模態(tài)編碼器進(jìn)行預(yù)處理，得到對(duì)應(yīng)的初步模態(tài)特征信息Xm，m＝l,v,a分別代表語(yǔ)言嵌入特征、視覺(jué)嵌入特征、音覺(jué)嵌入特征； 步驟三、對(duì)初步模態(tài)特征信息Xm進(jìn)行門(mén)控殘差自注意力機(jī)制處理，得到模態(tài)自注意力特征 步驟四、依據(jù)步驟三所得模態(tài)自注意力特征獲取多模態(tài)融合順序；具體是： S4-1、提取模態(tài)自注意力特征中，對(duì)應(yīng)單模態(tài)獨(dú)立情感注釋的特征信息并集合成模態(tài)分?jǐn)?shù)序列 其中，代表模態(tài)m對(duì)應(yīng)的單模態(tài)獨(dú)立情感分類注釋yi的第i個(gè)分?jǐn)?shù)序列；B為樣本批次數(shù)量，∑代表求和運(yùn)算符；Match·表示匹配操作；Softmax·為激活函數(shù)； S4-2、計(jì)算兩兩模態(tài)之間的差異比率ρbc； 其中，分別代表不同兩種模態(tài)的分?jǐn)?shù)序列，j表示分?jǐn)?shù)序列的對(duì)應(yīng)的相對(duì)位置； S4-3、通過(guò)對(duì)比三個(gè)模態(tài)的差異比率ρbc,得到當(dāng)下模態(tài)輪轉(zhuǎn)周期中的主要模態(tài)P； 其中，Sort·表示三個(gè)差異比率均值進(jìn)行降序排序后取前兩個(gè)差異比率，則這兩個(gè)差異比率中的共同模態(tài)為主要模態(tài)P； S4-4、根據(jù)主要模態(tài)P，將剩余兩種模態(tài)的模態(tài)自注意力特征作為次要模態(tài)Ii； 次要模態(tài)Ii分別與主要模態(tài)P做相似度衡量計(jì)算，找出與P相似度最接近的模態(tài)特征為第二模態(tài)特征； 根據(jù)主要模態(tài)P、第二模態(tài)，即可實(shí)現(xiàn)對(duì)三種模態(tài)進(jìn)行排序，得到多模態(tài)融合順序； 步驟五、依據(jù)步驟四多模態(tài)融合順序，對(duì)模態(tài)自注意力特征進(jìn)行跨模態(tài)融合； 步驟六、將步驟五跨模態(tài)融合結(jié)果輸入至分類器，得到情感識(shí)別結(jié)果。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人杭州電子科技大學(xué)，其通訊地址為：310018 浙江省杭州市下沙高教園區(qū)2號(hào)大街；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。