北京交通大學金一獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉北京交通大學申請的專利一種基于多層級特征融合的行為識別方法及裝置獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119625818B 。
龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411417104.2,技術領域涉及:G06V40/20;該發明授權一種基于多層級特征融合的行為識別方法及裝置是由金一;李尚澤;蘇楦雯;李浥東;王濤;王偉;段莉設計研發完成,并于2024-10-11向國家知識產權局提交的專利申請。
本一種基于多層級特征融合的行為識別方法及裝置在說明書摘要公布了:本發明公開了一種基于多層級特征融合的行為識別方法及裝置,包括步驟:步驟S1:多層級特征的收集;步驟S2:時序特征顯著性表達;步驟S3:多層次特征融合方法;步驟S4;輸出目標任務結果。本發明首次同時考慮了三維卷積神經網絡中的時序感受野首先問題和不同運動速率分辨能力弱的問題,使三維卷積神經網絡在維持計算開銷變化不大的情況下有效提升行為識別的準確率。本發明設計了時序特征顯著性表達機制,通過對特征進行顯著性表達處理,獲取全局時空信息,增強模型的長時序建模能力。設計多層級特征融合模塊,利用不同層級特征對運動速率的感知能力,增強模型的分辨力,實現單輸入源下不同動作速率的行為識別能力。
本發明授權一種基于多層級特征融合的行為識別方法及裝置在權利要求書中公布了:1.一種基于多層級特征融合的行為識別方法,其特征在于,包括以下步驟: 步驟S1:多層級特征的收集; 構建三維卷積神經網絡模型,對行為識別網絡中的不同層級特征進行提取,實現多層級特征的收集; 步驟S2:時序特征顯著性表達; 經過步驟S1的操作,獲取包含時空信息的三維特征圖; 通過時序特征顯著性表達方法,獲取全局信息,通過對時序維度特征的壓縮和激勵完成特征顯著性表達并實現長時序建模,具體包括: 步驟S2-1:壓縮; 將整體特征圖壓縮到時序維度再進行激勵操作,讓時序信息在本層交互之前不互相擾亂; 對本層特征進行平均池化操作,獲得時序層面的獨立特征表達,產生的特征再進行接下來的特征激勵,實現全局時序特征建模; 公式中Γ是reshape操作,在調換特征圖中時序維度和通道維度后進行平均池化操作,其中t為整個采樣中的第t幀特征,i,j為特征點的空間位置,通過對采樣出的特征對通道和時序維度進行調換再池化,得到該幀壓縮后的時序特征表達; 步驟S2-2:激勵; 時序激勵操作通過利用壓縮獲得的時序層面特征,把控全局權重,學習時序維度的上下文關系,更好的幫助最終預測時挖掘出有代表性的時序特征表達; 通過使用ReLU、Sigmoid和全連接層來實現激勵操作: M=fexFSqueeze=σW2δW1FSqueeze其中σ為Sigmoid函數,σ是ReLU函數, 為了得到顯著性映射圖M,激勵操作使用較少的計算量推算出視頻段的顯著動作區域,最終輸出映射圖 步驟S2-3:全局時序映射; 將映射圖加持到整個特征之上,對映射圖進行廣播操作得到激勵后的特征; 廣播后的映射圖在通過元素層面乘法重新對特征圖計算,完成了特征的時序激勵操作: Fex=FanM×Fbase 具體計算方法如下,Fan將輸入的映射圖M進行廣播操作,拓展為于特征圖大小一致的映射圖,通過元素層面乘法與原特征圖Fbase得到激勵后的特征Fex; 步驟S3:多層次特征融合方法; 獲得激勵后的全局特征后,需要對金字塔結構的特征進行融合操作,以確保最終的預測結果是基于不同層次,不同運動速度下的特征綜合得出的,具體步驟為: 步驟S3.1,對不同特征進行平均池化操作,將不同層次的特征空間尺寸調整到與最后一層特征尺寸相同; 步驟S3.2,在進行平均池化操作后,對不同層次的特征在通道維度進行拼接操作,匯總金字塔結構中所有層級的特征; 步驟S3.3,融合; 采用三維卷積核,對不同層次拼接后的特征進行時空特征挖掘,修正融合特征Ffusion的通道數量; 融合特征尺寸和通道數量與骨干網絡的最后一層輸出特征尺寸對齊; 融合方法以下公式進行計算; 其中為第n層級特征激勵后的特征,共有4層特征,n為4; Conv為卷積運算; pool為平均池化操作,將不同層級的特征進行空間尺寸對其; Concat做通道層面拼接操作,將不同層級特征進行拼接,拼接后得到多層級特征融合后的特征Fmff; 步驟S4;輸出目標任務結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人北京交通大學,其通訊地址為:100044 北京市海淀區西直門外上園村3號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。