買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉云南大學(xué)申請的專利一種基于深度學(xué)習(xí)和雙模態(tài)數(shù)據(jù)的抑郁情緒預(yù)測系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN116030271B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202310146956.1，技術(shù)領(lǐng)域涉及：G06V10/44；該發(fā)明授權(quán)一種基于深度學(xué)習(xí)和雙模態(tài)數(shù)據(jù)的抑郁情緒預(yù)測系統(tǒng)是由蔡莉;沈先發(fā);楊文潔;劉俊暉設(shè)計研發(fā)完成，并于2023-02-22向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于深度學(xué)習(xí)和雙模態(tài)數(shù)據(jù)的抑郁情緒預(yù)測系統(tǒng)在說明書摘要公布了：本發(fā)明公開一種基于深度學(xué)習(xí)和雙模態(tài)數(shù)據(jù)的抑郁情緒預(yù)測系統(tǒng)，涉及數(shù)據(jù)處理領(lǐng)域，該系統(tǒng)包括：待預(yù)測雙模態(tài)數(shù)據(jù)獲取模塊，用于根據(jù)從社交媒體獲取的用戶雙模態(tài)數(shù)據(jù)確定多個圖文對，每個圖文對均包括文本和圖片；抑郁情緒預(yù)測模型，與所述待預(yù)測雙模態(tài)數(shù)據(jù)獲取模塊連接，用于：對多個圖文對進行特征提取，得到文本特征、圖片特征和用戶全局信息；采用跨模態(tài)注意力機制融合用戶的每個圖文對特征信息；采用自適應(yīng)圖卷積網(wǎng)絡(luò)對多個圖文對特征信息進行特征融合，得到融合特征；采用多頭自注意力機制融合所述用戶全局信息和所述融合特征得到用于特征表示；將所述用于特征表示輸入分類器，得到用戶的抑郁概率，本發(fā)明提高了抑郁情緒預(yù)測的準確性。

本發(fā)明授權(quán)一種基于深度學(xué)習(xí)和雙模態(tài)數(shù)據(jù)的抑郁情緒預(yù)測系統(tǒng)在權(quán)利要求書中公布了：1.一種基于深度學(xué)習(xí)和雙模態(tài)數(shù)據(jù)的抑郁情緒預(yù)測系統(tǒng)，其特征在于，包括： 待預(yù)測雙模態(tài)數(shù)據(jù)獲取模塊，用于根據(jù)從社交媒體獲取的用戶雙模態(tài)數(shù)據(jù)確定多個圖文對，每個圖文對均包括文本和圖片； 抑郁情緒預(yù)測模型，與所述待預(yù)測雙模態(tài)數(shù)據(jù)獲取模塊連接，用于： 對多個圖文對進行特征提取，得到文本特征、圖片特征和用戶全局信息； 采用跨模態(tài)注意力機制融合用戶的每個圖文對特征信息； 采用自適應(yīng)圖卷積網(wǎng)絡(luò)對多個圖文對特征信息進行特征融合，得到融合特征； 采用多頭自注意力機制融合所述用戶全局信息和所述融合特征得到特征表示； 將所述特征表示輸入分類器，得到用戶的抑郁概率； 跨模態(tài)注意力機制特征融合包括一個多模態(tài)交互模塊來學(xué)習(xí)圖像感知詞表示和詞感知圖像表示； 圖像感知詞表示：應(yīng)用m頭Cross-ModalAttention層，它將圖像表示HV作為查詢向量Q，并將上下文表示HT視為被查詢向量K和內(nèi)容向量V，如下所示： MH_CAHV,HT＝W’[CA1HV,HT,...,CAmHV,HT]T； 其中，CAi表示跨模態(tài)注意力的第i個頭，CAm表示跨模態(tài)注意力的第m個頭，{Wqi,Wki,Wvi}∈Rdm*d分別對應(yīng)Q、K、V的可學(xué)習(xí)參數(shù)，W’分別表示Q、K、V和多頭注意力的權(quán)重矩陣，CA表示CAi的集合，d為詞向量的維度，d＝768，m表示多頭注意力機制中頭數(shù)，MH_CAHV,HT表示跨模態(tài)注意力的m個頭的連接；接下來，再通過兩個歸一化層和一個前饋神經(jīng)網(wǎng)絡(luò)得到最終的圖像感知詞表示，公式如下所示： HVT'＝LNHT+MH_CAHV,HT； HVT＝LNHVT'+FFNHVT'； 其中，HT為原始的上下文表示，F(xiàn)FN是前饋神經(jīng)網(wǎng)絡(luò)，LN是歸一化層；首先，HT經(jīng)過Cross-ModalAttention層得到MH_CAHV,HT，然后將結(jié)果與HT相加并經(jīng)過一個歸一化層得到HVT'；HVT'再通過一個前饋神經(jīng)網(wǎng)絡(luò)進行線性變化，并與自身相加，之后經(jīng)過另一個歸一化層得到最終的圖像感知詞表示HVT； 詞感知圖像表示：繼續(xù)使用m頭Cross-ModalAttention層，將HT視為Q，將HV視為K和V，并添加前饋神經(jīng)網(wǎng)絡(luò)層和歸一化層，對應(yīng)的公式和圖像感知詞表示公式一致，區(qū)別在于兩者的Q、K、V不同： MH_CAHT,HV＝W’[CA1HT,HV,...,CAmHT,HV]T； HTV'＝LNHV+MH_CAHT,HV； HTV＝LNHTV'+FFNHTV'； 將HVT和HTV連接起來以獲得用戶單個圖文對最終的隱藏表示H； 自適應(yīng)圖卷積網(wǎng)絡(luò)特征融合包括：若將用戶的圖文對H看作節(jié)點，連接的邊就表示了圖文對之間相似度的大小，即權(quán)值，由此構(gòu)建出一個圖文對的鄰接矩陣；使用自適應(yīng)鄰接矩陣圖卷積網(wǎng)絡(luò)來自動學(xué)習(xí)用戶圖文對之間的聯(lián)系，自適應(yīng)鄰接矩陣Aadp如下所示： Aadp＝SoftmaxReLUE1,E2 T； 其中，參數(shù)E1為源節(jié)點嵌入，參數(shù)E2為目標(biāo)節(jié)點嵌入； 通過結(jié)合預(yù)定義的空間依賴和自學(xué)習(xí)的隱藏圖依賴，圖卷積層的定義如下： 其中，Pf＝ArowsumA代表前向轉(zhuǎn)移矩陣，Pb＝ATrowsumAT代表后向轉(zhuǎn)移矩陣，k表示冪級數(shù)，X表示輸入值，Z表示輸出值，Wk1,Wk2,Wk3為模型的矩陣參數(shù)，A表示鄰接矩陣；假設(shè)每個用戶發(fā)布了n條圖文對，經(jīng)過Cross-ModalAttention特征融合模塊得到用戶圖文對隱藏表示的集合H'＝[H1；H2；...Hn]，最后經(jīng)過自適應(yīng)圖卷積網(wǎng)絡(luò)融合得到最終的用戶多文本和多圖片的融合特征Z；K表示常數(shù)。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人云南大學(xué)，其通訊地址為：650091 云南省昆明市翠湖北路2號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。