買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉浙江工商大學申請的專利一種多模態融合的小樣本舞蹈動作識別方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115661561B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210767390.X，技術領域涉及：G06V10/774；該發明授權一種多模態融合的小樣本舞蹈動作識別方法及裝置是由王勛;鄭鵬;董建鋒;劉寶龍;鄭天一;楊文武設計研發完成，并于2022-06-30向國家知識產權局提交的專利申請。

本一種多模態融合的小樣本舞蹈動作識別方法及裝置在說明書摘要公布了：本發明公開了一種多模態融合的小樣本舞蹈動作識別方法及裝置，提出使用基于視頻預覽指導的多模態數據融合的方法，將多模態數據的特征學習方式應用至小樣本舞蹈動作識別任務中，并通過不同模態數據交匯融合的方式，緩解了小樣本領域因數據量過少而導致的識別困難問題。相較于傳統小樣本動作識別方法，本方法利用多模態信息，有效解決了rgb單模態數據在視頻動作識別時性能不夠魯棒的問題；此外，使用的視頻預覽指導多模態數據融合的方法，加強了模型在各模態空間中的語義提取能力。相較于傳統小樣本動作識別方法，本發明所提出的方法識別性能更強，利用視頻信息特征更充分，更適應于小樣本舞蹈動作識別任務。

本發明授權一種多模態融合的小樣本舞蹈動作識別方法及裝置在權利要求書中公布了：1.一種多模態融合的小樣本舞蹈動作識別方法，其特征在于，包括以下步驟： S1，利用多模態動作識別數據集，預訓練不同模態的特征提取器，并使用不同模態的特征提取器提取對應不同模態的逐幀特征信息； S2，使用所述步驟S1的不同模態的逐幀特征信息，訓練基于視頻預覽指導的多模態動作特征融合器；所述步驟S2具體為： S21，將視頻幀的順序作為Transformer網絡所需的位置編碼，使用Transformer網絡從所述步驟S1的不同模態的逐幀特征信息中提取時序特征，得到不同模態的視頻時空語義特征，其中，不同模態包括rgb模態和非rgb模態，非rgb模態包括骨架熱力圖模態、深度模態和紅外模態； S22，通過對rgb模態的視頻時空語義特征做池化處理，得到rgb模態的單模態動作特征； S23，對非rgb模態的視頻時空語義特征各自添加模態嵌入和時序嵌入并相互進行拼接，得到多模態不含rgb時空語義特征； S24，利用多模態Transformer網絡融合多模態不含rgb時空語義特征，得到初步多模態不含rgb融合時空語義特征； S25，使用基于視頻預覽的Transformer網絡，對作為指導的rgb模態的視頻時空語義特征和初步多模態不含rgb融合特征進行融合，得到多模態融合時空語義特征； S26，將多模態融合時空語義特征進行池化處理，得到多模態動作特征； S27，利用線性層和Softmax層，對rgb模態的單模態動作特征和多模態動作特征進行分類，得到視頻動作預測結果； S28，使用交叉熵損失函數，計算視頻動作預測結果和真實標簽的損失，以訓練多模態動作特征融合器； S3，基于特征提取器和多模態動作特征融合器，構建多模態動作特征提取器； S4，利用多模態動作識別數據集，基于多模態動作特征提取器訓練小樣本舞蹈動作識別模型； S5，利用訓練好的小樣本舞蹈動作識別模型進行小樣本舞蹈動作識別。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江工商大學，其通訊地址為：310018 浙江省杭州市下沙高教園區學正街18號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。