買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉常州大學申請的專利一種基于多模態深度神經網絡對人群抑郁狀態輔助檢測的方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116110565B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211002632.2，技術領域涉及：G16H50/20；該發明授權一種基于多模態深度神經網絡對人群抑郁狀態輔助檢測的方法是由楊長春;王彭;曹苗苗;張力維;孟天霜設計研發完成，并于2022-08-19向國家知識產權局提交的專利申請。

本一種基于多模態深度神經網絡對人群抑郁狀態輔助檢測的方法在說明書摘要公布了：本發明屬于計算機自然語言處理情感分析領域，提出了一種基于多模態深度神經網絡對人群抑郁狀態輔助檢測的方法。首先采集讀取音頻、文本和視頻模態數據；通過三條分支網絡對三種模態數據提取高維特征，音頻模態使用Wav2vec2.0對音頻數據編碼，特征提取模塊網絡提取音頻高維特征；文本模態使用Bert對文本數據編碼，雙向長短時間記憶網絡提取文本高維特征；從視頻模態獲取面部、頭部關鍵點坐標信息，通過時間分布卷積神網絡提取視頻高維特征；通過搭建自注意力模塊，充分融合三種高維特征以提高對抑郁狀態檢測的準確率；通過利用加權的交叉熵損失函數，抑制干擾噪聲對于網絡學習能力的影響，從而進行準確的抑郁狀態預測。

本發明授權一種基于多模態深度神經網絡對人群抑郁狀態輔助檢測的方法在權利要求書中公布了：1.一種基于多模態深度神經網絡對人群抑郁狀態輔助檢測的方法，其特征在于，包括步驟如下； 步驟1：基于音頻模態使用特征提取模塊提取抑郁狀態的高維特征； 特征提取模塊由多頭自注意力網絡組成,由多頭自注意力機制結構和前饋神經網絡堆疊組成；前饋神經網絡包括兩層全連接層，第一層全連接層的激活函數是ReLU，第二層全連接層的激活函數是一個線性激活函數； 步驟2：基于文本模態使用雙向長短時間記憶網絡框架模型提取抑郁狀態的高維特征； 雙向長短時間記憶網絡為雙向LSTM組合的BiLSTM網絡，BiLSTM網絡使用雙層的LSTMlayer； 步驟3：基于視頻模態使用時間分布卷積神經網絡模型提取抑郁狀態的高維特征； 時間分布卷積神經網絡模型包括兩個并行的T-CNN分支，T-CNN分支為多層結構，包括五個擴張卷積塊和四個最大池化層；擴張卷積塊用于獲取不同感知范圍內的信息；最大池化層用于縮小特征分辨率，提取出高維特征；具體步驟包括： 3.1：通過佩戴傳感器采集被測人在受訪時間內的頭部動作的三維坐標信息，通過錄像視頻采集被測人在受訪時間內的面部關鍵點的三維坐標信息； 將所獲得的頭部動作和關鍵點的三維坐標信息讀取后獲得的特征向量，其中T是時間步長，D為特征維數； 3.2：以面部關鍵點的三維坐標特征向量序列和頭部動作三維坐標特征向量序列作為輸入，使用時間分布卷積神經網絡提取視覺的高維特征； 輸入面部關鍵點三維坐標特征向量序列和頭部動作三維坐標特征向量序列至兩個并行的T-CNN分支進行學習特征； 輸入，T-CNN分支的卷積運算表示為： （5） 其中d為擴張因子，k為卷積核大小，b為偏置；采用零填充，保持T-CNN輸入輸出形狀相同； 步驟4：融合三種模態中提取的抑郁狀態的高維特征，通過自注意力模塊輸出二進制標簽，對人群的抑郁狀態檢測；具體步驟包括； 4.1：整合從三個分支模型中提取的高維特征，得到向量I，并輸入至自注意力模塊，自注意力模塊將學習到的特征進行融合，將權重分配給不同的特征通道；得到表示三種模態不同特征重要性的權重矩陣； 輸入向量I時，自注意力機制的計算過程為： 計算融合后向量I的三個向量矩陣即矩陣： （6） （7） （8） 計算注意力分數矩陣： （9） （10） 計算輸出矩陣： （11） 其中是可學習參數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人常州大學，其通訊地址為：213164 江蘇省常州市武進區湖塘鎮滆湖中路21號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。