南昌工程學院王軍獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉南昌工程學院申請的專利基于Mamba視覺混合模塊的目標跟蹤方法與系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120298458B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510777185.5,技術領域涉及:G06T7/246;該發明授權基于Mamba視覺混合模塊的目標跟蹤方法與系統是由王軍;羅書紅;孫磊;安卓;李溢超;肖愉蓉設計研發完成,并于2025-06-11向國家知識產權局提交的專利申請。
本基于Mamba視覺混合模塊的目標跟蹤方法與系統在說明書摘要公布了:本發明提出一種基于Mamba視覺混合模塊的目標跟蹤方法與系統,該方法包括:將搜索圖像和模板圖像輸入至Mamba視覺混合模塊中,提取并疊加全局上下文信息和局部細節信息;將Mamba視覺混合模塊的輸出輸入至特征融合模塊中進行融合;將特征融合模塊的輸出利用特征提升模塊進行特征增強,得到增強后的特征;用大規模數據集對優化后的跟蹤模型進行預訓練,并對跟蹤模型的參數進行更新;將搜索圖像和模板圖像輸入至參數更新后的跟蹤模型中,得到跟蹤結果。本發明設計特征聚合網絡,利用圖像狀態空間模塊整合搜索區域的歷史狀態信息,將歷史狀態信息與交互后的特征沿通道方向進行拼接,通過卷積、激活、歸一化、跳躍連接的方式實現特征的有效聚合過濾不相關信息。
本發明授權基于Mamba視覺混合模塊的目標跟蹤方法與系統在權利要求書中公布了:1.一種基于Mamba視覺混合模塊的目標跟蹤方法,其特征在于,所述方法包括如下步驟: 步驟1、基于Transformer架構和Mamba狀態空間模型構建Mamba視覺混合模塊,基于特征聚合機制構建特征融合模塊,基于特征增強機制構建特征提升模塊,Mamba視覺混合模塊、特征融合模塊和特征提升模塊構成跟蹤模型;其中Mamba視覺混合模塊包括多頭自注意力和圖像狀態空間模塊; 步驟2、將搜索圖像和模板圖像輸入至Mamba視覺混合模塊中,提取并疊加全局上下文信息和局部細節信息,得到Mamba視覺混合模塊的輸出; 步驟3、將Mamba視覺混合模塊的輸出輸入至特征融合模塊中進行融合,得到特征融合模塊的輸出; 步驟4、將特征融合模塊的輸出利用特征提升模塊進行特征增強,得到增強后的特征,利用增強后的特征分別計算分類損失和回歸損失,利用分類損失和回歸損失對跟蹤模型進行優化,得到優化后的跟蹤模型; 步驟5、利用大規模數據集對優化后的跟蹤模型進行預訓練,并對跟蹤模型的參數進行更新,得到參數更新后的跟蹤模型; 步驟6、將搜索圖像和模板圖像輸入至參數更新后的跟蹤模型中,以迭代的方式重復步驟2至步驟4,得到最終增強后的特征,將最終增強后的特征輸入至預測頭,得到跟蹤結果; 在所述步驟2中,將搜索圖像和模板圖像輸入至Mamba視覺混合模塊中,提取并疊加全局上下文信息和局部細節信息,得到Mamba視覺混合模塊的輸出,具體包括如下步驟: 將搜索圖像和模板圖像輸入至Mamba視覺混合模塊中分別進行初始化處理,得到模板區域的圖像序列和搜索區域的圖像序列; 對模板區域的圖像序列和搜索區域的圖像序列利用卷積網絡分別進行特征提取,得到模板區域圖像序列的原始特征和搜索區域圖像序列的原始特征; 將模板區域圖像序列的原始特征依次進行展平處理和位置編碼添加處理,得到模板圖像的原始特征標記序列; 將搜索區域圖像序列的原始特征依次進行展平處理和位置編碼添加處理,得到搜索區域圖像的原始特征標記序列; 將模板圖像的原始特征標記序列輸入至多頭自注意力中進行信息提取,得到圖像的全局上下文特征; 將搜索區域圖像的原始特征標記序列輸入至圖像狀態空間模塊中進行局部信息提取,得到圖像的局部特征; 將圖像的全局上下文特征與圖像的局部特征進行疊加處理,得到Mamba視覺混合模塊的輸出; 在所述步驟4中,將特征融合模塊的輸出利用特征提升模塊進行特征增強,得到增強后的特征,具體如下步驟: S101、對特征融合模塊的輸出的空間維度利用特征提升模塊進行全局平均池化處理,得到全局平均池化處理后的結果,對全局平均池化處理后的結果通過卷積層進行通道分配權重處理,得到輸入特征的通道權重矩陣,將輸入特征的通道權重矩陣與特征融合模塊的輸出的原始矩陣進行相乘處理,得到第一層通道分支輸出的特征矩陣和第一層跳躍連接輸出的矩陣,對應過程存在的關系式如下: ; 其中,表示第一層的通道分支輸出的特征矩陣,表示通道注意力計算,表示第一部分結構第一層跳躍連接輸出的矩陣; S102、將第一層跳躍連接輸出的矩陣作為輸入以迭代的方式重復步驟S101,分別得到第二層通道分支輸出的特征矩陣、第三層通道分支輸出的特征矩陣和第四層通道分支輸出的特征矩陣,對應過程存在的關系式如下: ; 其中,表示第二層的通道分支輸出的特征矩陣,表示第一部分結構第二層跳躍連接輸出的矩陣,表示第三層的通道分支輸出的特征矩陣,表示第一部分結構第三層跳躍連接輸出的矩陣,表示第四層的通道分支輸出的特征矩陣; S103、對第一層通道分支輸出的特征矩陣、第二層通道分支輸出的特征矩陣、第三層通道分支輸出的特征矩陣和第四層通道分支輸出的特征矩陣進行拼接處理,得到第一個拼接后的結果,利用卷積層對第一個拼接后的結果的通道維度分配權重處理,得到特征提升模塊第一部分結構的輸出特征矩陣,對應過程存在的關系式如下: ; 其中,表示特征提升模塊第一部分結構的輸出特征矩陣; S104、對特征提升模塊第一部分結構的輸出特征矩陣的通道維度依次進行全局平均池化處理和最大池化處理,得到池化后的特征,對池化后的特征沿通道維度依次進行拼接處理和卷積激活處理,得到輸入特征矩陣各個空間位置的權重矩陣,對輸入特征矩陣各個空間位置的權重矩陣與特征提升模塊第一部分結構的輸出特征矩陣進行相乘處理,得到第一層的空間分支輸出的特征矩陣和第一層跳躍連接輸出的矩陣,對應過程存在的關系式如下: ; 其中,表示第一層的空間分支輸出的特征矩陣,表示通道注意力計算,表示第二部分結構第一層跳躍連接輸出的矩陣; S105、將第一層跳躍連接輸出的矩陣作為輸入并以迭代的方式重復步驟S104,分別得到第二層的空間分支輸出的特征矩陣、第三層的空間分支輸出的特征矩陣和第四層的空間分支輸出的特征矩陣,對應過程存在的關系式如下: ; 其中,表示第二層的空間分支輸出的特征矩陣,表示第二部分結構第二層跳躍連接輸出的矩陣,表示第三層的空間分支輸出的特征矩陣,表示第二部分結構第三層跳躍連接輸出的矩陣,表示第四層的空間分支輸出的特征矩陣; S106、將第一層的空間分支輸出的特征矩陣、第二層的空間分支輸出的特征矩陣、第三層的空間分支輸出的特征矩陣和第四層的空間分支輸出的特征矩陣,進行沿通道維度拼接處理,得到第二個拼接后的結果,對第二個拼接后的結果通過卷積層進行通道維度分配權重處理,得到第二部分建模空間位置依賴關系的輸出,對應過程存在的關系式如下: ; 其中,表示第二部分建模空間位置依賴關系的輸出; S107、將第二部分建模空間位置依賴關系的輸出與特征融合模塊的輸出進行相加處理,得到特征提升模塊的輸出,對應過程存在的關系式如下: ; 其中,表示特征提升模塊的輸出。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人南昌工程學院,其通訊地址為:330000 江西省南昌市高新區天祥大道289號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。