中國人民解放軍空軍特色醫學中心杜鵬獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中國人民解放軍空軍特色醫學中心申請的專利一種基于時空通道激勵的視頻動作識別方法及設備獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN117496405B 。
龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202311473804.9,技術領域涉及:G06V20/40;該發明授權一種基于時空通道激勵的視頻動作識別方法及設備是由杜鵬;吳偉超;王亞雯;王若永;陳曦蒙;張櫻櫻;李峰;景洪江;穆慧玲;白霜;張莉莉;郝一銘;劉鵬;桑源設計研發完成,并于2023-11-07向國家知識產權局提交的專利申請。
本一種基于時空通道激勵的視頻動作識別方法及設備在說明書摘要公布了:本發明提供一種基于時空通道激勵的視頻動作識別方法及設備,該方法包括:構建視頻動作數據集,所述數據集中包括視頻片段和視頻動作類別;構建視頻動作識別模型,所述視頻動作識別模型包括時空通道激勵模塊,用于對待識別的視頻在空間維度和時序維度上采用通道激勵的方法進行特征提取,得到包含空間特征和時序特征的特征圖;基于所述視頻動作數據集,通過損失函數對所述視頻動作識別模型進行迭代訓練;將待識別的視頻輸入訓練后的所述視頻動作識別模型,得到動作識別結果。本發明解決了現有技術中的視頻動作識別方法忽略了空間和時序維度之間的互動,導致識別效果差、效率低的問題。
本發明授權一種基于時空通道激勵的視頻動作識別方法及設備在權利要求書中公布了:1.一種基于時空通道激勵的視頻動作識別方法,其特征在于,包括: 構建視頻動作數據集,所述數據集中包括視頻片段和視頻動作類別; 構建視頻動作識別模型,所述視頻動作識別模型包括時空通道激勵模塊,用于對待識別的視頻在空間維度和時序維度上采用通道激勵的方法進行特征提取,得到融合空間特征和時序特征的特征圖;所述時空通道激勵模塊包括輸入模塊、SGAP模塊、TGAP模塊和特征融合模塊; 所述輸入模塊用于將對應的所述Resblock模塊輸出的特征圖按通道維度分為兩組特征圖Xs和Xte,所述Resblock模塊輸出的特征圖為連續多幀圖像組成的特征圖; 所述SGAP模塊和TGAP模塊分別用于對兩組特征圖Xs和Xte分別在空間維度和時序維度上采用通道激勵的方法進行特征提取,得到空間特征圖和時序特征圖,包括:通過所述SGAP模塊對其中的一組特征圖Xs在空間維度上做平均池化,時序維度保持不變,得到初級空間特征圖;對所述初級空間特征圖采用一維卷積對空間特征進行建模,得到所述視頻對應的空間特征圖;通過所述TGAP模塊對另一組特征圖Xte在時序維度上做平均池化,保持空間維度不變,得到初級時序特征圖;對所述初級時序特征圖采用二維卷積對時序特征進行建模,得到所述視頻對應的時序特征圖; 其中,通過下述公式對一組特征圖Xs進行平均池化,得到所述初級空間特征圖: 其中,為全局平均池化后得到的初級空間特征圖,FSGAPXs表示對一組特征圖Xs進行空間全局平均池化,H×W是輸入特征圖的高和寬,xs:,:,h,w表示在時序維度保持不變,在空間維度上對一組特征圖Xs進行平均池化; 通過下述公式對初級空間特征圖進行建模: 其中,表示對所述初級空間特征圖進行建模,Conv1DC2G→C2Gr表示對初級空間特征圖從C2G→C2Gr進行降維,Conv1DC2Gr→C2G表示對特征圖從C2Gr→C2G進行維度恢復,C為圖像通道數,G為分組超參數,r為卷積層降維比率;表示疊加操作; 通過下述公式對另一組特征圖Xte進行平均池化,得到所述初級時序特征圖: 其中,其中為時間全局平均池化后得到的初級時序特征圖,FTGAPXte表示對初級時序特征圖進行時間全局平均池化,T是輸入特征圖的幀數,xte:,t,:,:表示對時序維度進行平均池化,其他維度均保持不變; 通過下述公式對所述初級時序特征圖進行建模: 其中,表示對初級時序特征圖進行建模,Conv2DC2G→C2Gr表示通過2D卷積對特征從C2G→C2Gr進行降維,Conv2DC2Gr→C2G表示對特征通過2D卷積從C2Gr→C2G進行維度恢復,C為圖像通道數,G為分組超參數,r為卷積層降維比率,表示將提取的特征權重與初級時序特征圖進行疊加; 所述特征融合模塊用于將所述空間特征圖和時序特征圖進行特征融合,提取得到所述視頻的融合空間特征和時序特征的特征圖,包括:所述特征融合模塊接收所述SGAP模塊和TGAP模塊輸出的所述時序特征圖和空間特征圖,并將所述時序特征圖和空間特征圖通過通道錯開的方式合并,以及將合并后的特征圖進行通道洗牌;通過平均池化操作對通道洗牌后的特征圖進行特征提取后與合并后的特征圖進行殘差連接,并通過激活函數激活后得到所述視頻對應的包含空間特征和時序特征的特征圖; 所述視頻動作識別模型基于Resnet50模型構建得到;所述時空通道激勵模塊設置于resnet50骨干網絡的stage4中,以提升網絡的時序提取能力; 基于所述視頻動作數據集,通過損失函數對所述視頻動作識別模型進行迭代訓練得到訓練好的視頻動作識別模型; 將待識別的視頻輸入訓練后的所述視頻動作識別模型,得到動作類別識別結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國人民解放軍空軍特色醫學中心,其通訊地址為:100142 北京市海淀區阜成路28號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。