買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院申請(qǐng)的專利基于注意力機(jī)制的多模態(tài)信息融合識(shí)別方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114332573B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111557072.2，技術(shù)領(lǐng)域涉及：G06V10/80；該發(fā)明授權(quán)基于注意力機(jī)制的多模態(tài)信息融合識(shí)別方法及系統(tǒng)是由劉楨;程俊;任子良;宋呈群;張鍥石設(shè)計(jì)研發(fā)完成，并于2021-12-18向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于注意力機(jī)制的多模態(tài)信息融合識(shí)別方法及系統(tǒng)在說(shuō)明書摘要公布了：本發(fā)明涉及一種基于注意力機(jī)制的多模態(tài)信息融合識(shí)別方法及系統(tǒng)。該方法及系統(tǒng)首先對(duì)人體動(dòng)作的RGB和depth視頻幀序列進(jìn)行壓縮表示，生成整個(gè)視頻的時(shí)空信息表示圖；然后分別將RGB和depth的時(shí)空表示圖輸入雙流深度卷積網(wǎng)絡(luò)提取其高層語(yǔ)義特征；之后將這兩種模態(tài)的特征輸入注意力信息融合模塊得到兩個(gè)不同的多模態(tài)融合特征表示；最后將這兩個(gè)多模態(tài)特征向量相加或拼接操作整合成一個(gè)特征向量，通過(guò)全連接層和softmax函數(shù)分類，得到待測(cè)視頻中的所屬動(dòng)作類，能夠有效地利用RGB和depth數(shù)據(jù)的互補(bǔ)信息，產(chǎn)生語(yǔ)義豐富的多模態(tài)特征表示，極大地提高人體動(dòng)作識(shí)別的準(zhǔn)確率和抗干擾能力。

本發(fā)明授權(quán)基于注意力機(jī)制的多模態(tài)信息融合識(shí)別方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于注意力機(jī)制的多模態(tài)信息融合識(shí)別方法，其特征在于，包括以下步驟： 對(duì)人體動(dòng)作的RGB和depth視頻幀序列進(jìn)行壓縮表示，生成整個(gè)視頻的時(shí)空信息表示圖； 分別將RGB和depth的時(shí)空信息表示圖輸入雙流深度卷積網(wǎng)絡(luò)提取其高層語(yǔ)義特征； 將RGB和depth兩種模態(tài)的高層語(yǔ)義特征進(jìn)行注意力信息融合得到兩個(gè)不同的多模態(tài)融合特征表示； 將兩個(gè)多模態(tài)融合特征向量相加或拼接操作整合成一個(gè)特征向量，然后通過(guò)全連接層和softmax函數(shù)分類，得到待測(cè)視頻中的所屬動(dòng)作類別；其中： 所述將RGB和depth兩種模態(tài)的高層語(yǔ)義特征進(jìn)行注意力信息融合得到兩個(gè)不同的多模態(tài)融合特征表示包括： RGB和depth兩種模態(tài)的高層語(yǔ)義特征輸入N層注意力融合模塊，在其所屬分支和另一分支的融合模塊中分別作為不同的輸入角色，使得兩種模態(tài)通過(guò)注意力機(jī)制交互融合，學(xué)習(xí)到模態(tài)間的互補(bǔ)信息，得到多模態(tài)特征Xr和Xd； 輸入的是兩路的模態(tài)的特征，其中該模塊所在分支的模態(tài)特征作為Q，另一分支的模態(tài)特征作為K、V，經(jīng)過(guò)多頭注意力機(jī)制進(jìn)行融合，然后通過(guò)瓶頸激活模塊進(jìn)一步強(qiáng)化所學(xué)習(xí)到的多模態(tài)特征，增強(qiáng)其表達(dá)能力； 其中瓶頸激活模塊配置為： 首先將輸入的特征進(jìn)行全局平均池化操作，將特征的HW維度壓縮成1來(lái)產(chǎn)生全局上下文信息然后通過(guò)兩層全連接層對(duì)特征的另一個(gè)維度降維并恢復(fù)到原始維度，中間插入ReLu激活函數(shù)增加非線性，從而組成瓶頸結(jié)構(gòu)，得到激活值最后將通過(guò)sigmoid函數(shù)的特征作為激活值與原始輸入特征進(jìn)行逐元素相乘，強(qiáng)化或抑制原始輸入特征中的信息。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院，其通訊地址為：518055 廣東省深圳市南山區(qū)深圳大學(xué)城學(xué)苑大道1068號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。