買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉河海大學申請的專利一種基于注意力機制的多模態信號融合情緒識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120477781B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510978627.2，技術領域涉及：A61B5/16；該發明授權一種基于注意力機制的多模態信號融合情緒識別方法是由陳培垠;張涵;蔣晟;王昱設計研發完成，并于2025-07-16向國家知識產權局提交的專利申請。

本一種基于注意力機制的多模態信號融合情緒識別方法在說明書摘要公布了：本發明公開了一種基于注意力機制的多模態信號融合情緒識別方法，本發明的方法步驟如下：首先對生理信號數據預處理；對多通道腦電數據構建通道注意力模塊；使用EEGNet分別提取EEG和其他生理信號特征；引入共享?私有編碼器解耦多個模態之間的共享特征和每個模態的私有特征；最后提出跨模態交叉注意力融合機制，實現多模態特征交互和有效融合。本發明結合多模態信號，克服單一模態的局限性，引入共享?私有特征分離機制與跨模態交叉融合機制，以實現模態協同建模與有效整合，提升情緒識別的準確性與泛化能力。

本發明授權一種基于注意力機制的多模態信號融合情緒識別方法在權利要求書中公布了：1.一種基于注意力機制的多模態信號融合情緒識別方法，其特征在于，該方法包括以下步驟： S1.對多模態生理信號進行統一的預處理，所述多模態生理信號包括腦電信號EEG和其它模態信號EXG，所述預處理是先將多模態生理信號進行基線校準，然后做分段處理，最后使用進行min-max進行歸一化操作； S2.構建EEG多通道注意力模塊，根據步驟S1預處理后得到的EEG信號，通過注意力機制強化關鍵通道特征； S3.根據步驟S1和步驟S2的輸出，采用卷積神經網絡，構建局部時間濾波器、空間濾波器和深度可分離時空卷積核分別對腦電信號EEG和其它模態信號EXG進行特征提取； S4.根據步驟S3特征提取得到EEG和EXG的特征向量，構建共享-私有編碼器，顯式建模EEG和EXG間的共享特征和模態內的特有性特征； S5.根據步驟S4得到EEG和EXG間的共享特征和各自的特有性特征，利用跨模態的交叉注意力機制，以共享特征為交互媒介，引導EEG和EXG兩個模態私有特征在深層結構中進行多輪信息交互，融合雙模態特征； S6.采用聯合學習方法訓練由S1-S5構成的基于注意力機制的多模態信號融合網絡，網絡用Adam優化器，初始學習率設置為0.001，并用余弦退火動態調整學習率； 步驟S2所述的構建EEG多通道注意力模塊，方法如下： S2.1.對時間維度進行全局平均池化，得到每個通道的全局特征，形狀為（C,1），其中C是EEG的電極數量； S2.2.用1x1的點卷積對全局特征進行變換，增強全局特征表達能力，并將全局特征展平，得到長度為的通道特征張量； S2.3.通過Softmax函數計算注意力權重，之后通過擴展得到每個樣本通道之間的關系矩陣; S2.4.構建單位矩陣,其中是單位矩陣；是可學習的參數矩陣，用于動態調整通道間的關系，接著構建通道間的圖關聯矩陣：； S2.5.使用1D卷積和ReLU激活函數對全局特征進行非線性變化，增強全局特征表達； S2.6.將關聯矩陣與S2.1中的全局特征做矩陣相乘，得到形狀同為（C,1）的通道注意力分數向量； S2.7.使用sigmoid函數將通道的注意力分數向量約束在0-1之間，最后通過矩陣乘法實現圖卷積操作，對通道特征進行加權融合； 步驟S4的具體方法如下： S4.1.根據模態不變性原理，假設多模態信號具有不變性特征和特有性特征表示，設計如下三個編碼器：共享編碼器、EEG模態私有編碼器、EXG模態私有編碼器，分別提取EEG和EXG兩個模態的共享，即不變特征、EEG模態的特有性特征和EXG模態的特有性特征，三個編碼器的符號分別記作：、、； S4.2.將EEG模態和EXG模態的特征向量拼接，輸入至共享編碼器，得到模態的共享特征，其中表示將EEG模態和EXG模態的特征向量進行拼接，將EEG的特征向量輸入至EEG模態私有編碼器得到EEG模態的特有性特征，同理，將EXG的特征向量輸入至EXG模態私有編碼器得到EXG模態的特有性特征； S4.3.構建重構任務，設置和共享編碼器對稱的解碼器，利用共享特征對EEG模態和EXG模態的特征向量進行重構，重構損失使用MSE損失函數；所述的MSE損失函數計算公式如下：,其中n是y的維度大小，表示重構前的原特征，表示重構特征； S4.4.為了區分共享特征和特有性特征，采用正交性約束損失函數，使得在特征空間中，模態的共享特征和特有性特征盡量互相正交；所述正交性約束損失函數的計算：，其中是矩陣范數，上標T表示轉置。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人河海大學，其通訊地址為：210024 江蘇省南京市鼓樓區西康路1號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。