長安大學劉占文獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉長安大學申請的專利一種復雜城市道路環境下的多目標檢測與跟蹤算法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN115410162B 。
龍圖騰網通過國家知識產權局官網在2025-09-19發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210862496.8,技術領域涉及:G06V20/54;該發明授權一種復雜城市道路環境下的多目標檢測與跟蹤算法是由劉占文;員惠瑩;趙彬巖;李超;樊星;王洋;楊楠;齊明遠;李宇航;孫士杰;蔣淵德;韓毅設計研發完成,并于2022-07-21向國家知識產權局提交的專利申請。
本一種復雜城市道路環境下的多目標檢測與跟蹤算法在說明書摘要公布了:本發明公開了一種復雜城市道路環境下的多目標檢測與跟蹤方法:步驟1:構建訓練集和測試集;步驟2:在現有的DLA34骨干網絡基礎上逐層增加特征融合模塊實現輸入圖像的深淺層網絡特征融合;步驟3:采用Transformer編碼模塊提取特征圖中長距離特征依賴關系;步驟4:通過進一步特征融合及邏輯回歸處理;步驟5:利用多目標跟蹤模塊進行目標關聯處理與跟蹤,得到帶有目標檢測框的跟蹤特征圖;步驟6,得到訓練好的多目標檢測與跟蹤模型;步驟7,將待檢測的視頻數據輸入訓練好的多目標檢測與跟蹤模型,得到帶有目標檢測框的跟蹤特征圖。本發明能夠在復雜城市道路環境下對多目標進行準確的目標檢測和跟蹤,可穩定識別外觀尺度變化較大的目標。
本發明授權一種復雜城市道路環境下的多目標檢測與跟蹤算法在權利要求書中公布了:1.一種復雜城市道路環境下的多目標檢測與跟蹤方法,其特征在于,具體包括以下步驟: 步驟1:選取公共數據集進行數據增強,得到數據集,構建訓練集和測試集; 步驟2:在現有的DLA34骨干網絡基礎上逐層增加特征融合模塊實現輸入圖像的深淺層網絡特征融合,得到三個特征融合后的二維特征圖; 步驟3:根據特征融合后的二維特征圖,采用Transformer編碼模塊提取特征圖中長距離特征依賴關系,得到提取依賴關系后的特征圖;具體包括如下子步驟: 步驟31,將步驟2最終得到的116大小的二維特征圖坍縮成一維序列,并卷積形成K、V、Q特征圖; 步驟32,將位置編碼與步驟31得到的特征圖K和特征圖Q分別進行逐像素相加得到帶有位置信息的兩個特征圖,該兩個特征圖與特征圖V作為共同輸入進入多頭注意力模塊,經處理得到新的特征圖; 步驟33,對步驟32得到的新的特征圖再與步驟31得到的V、K、Q特征圖進行特征圖間對應值相加的融合操作和LayerNorm操作; 步驟34,步驟33得到的結果進入前饋神經網絡中進行處理,并通過殘差連接輸出,得到新的特征圖; 步驟4:通過進一步特征融合及邏輯回歸處理,生成熱圖以及目標邊界框;具體包括如下子步驟: 步驟41,將步驟3最終得到的特征圖進行2倍上采樣得到一個新的特征圖; 步驟42,將步驟24得到的14大小與18大小的特征圖采用與步驟24中相同的特征融合模塊進行特征融合,得到一個14大小的新特征圖; 步驟43,將步驟24得到的18大小、116大小的特征圖采用特征融合模塊進行特征融合,并與步驟41得到的特征圖進行逐像素相加得到一個18大小的新特征圖; 步驟44,將步驟42得到的14大小的特征圖和步驟43得到的18大小的特征圖仍采用特征融合模塊進行特征融合生成分辨率為原圖14大小的熱圖; 步驟45,對步驟44中得到的熱圖與步驟1得到的數據集中包含目標中心點的熱圖標簽進行邏輯回歸,得到預測目標的中心點; 步驟46,通過式(3)得到每個目標對應的邊框左上點與右下點坐標,生成目標邊界框: 3 其中,即步驟45得到預測目標的中心點,表示中心點與目標中心點的偏移量,表示目標對應的邊框的尺寸; 步驟5:利用多目標跟蹤模塊進行目標關聯處理與跟蹤,得到帶有目標檢測框的跟蹤特征圖;具體包括如下子步驟: 步驟51,將輸入步驟2的同一個圖像作為第幀圖像,并選取其下一幀圖像即第幀圖像,把第幀和第幀圖像作為輸入,經過CenterTrack骨干網絡處理分別生成特征圖和; 步驟52,將特征圖和分別送入代價空間模塊進行目標關聯處理,得到輸出特征圖;具體包括如下操作: 步驟521,將特征圖和分別送入代價空間模塊中的三層權值共享的卷積結構生成特征圖和,即目標的外觀編碼向量; 步驟522,對特征圖和進行最大池化操作得到和,以降低模型復雜度,使用和乘積的轉置計算得到代價空間矩陣,代價空間矩陣上的目標在當前幀的位置為,從代價空間矩陣中提取含有當前幀中的目標在前一幀圖像中的位置信息的二維代價矩陣,對的水平方向和豎直方向分別取最大值得到對應方向的特征圖; 步驟523,通過式(4)和(5)定義兩個偏移模板、; 4, 5, 其中,為特征圖相對于原圖的下采樣倍數,為特征圖的寬高尺寸大小,為幀圖像中的目標在幀圖像中出現在水平位置的偏移量,為幀目標在幀圖像中出現在豎直位置的偏移量; 步驟524,將步驟522得到的、與步驟523中定義的偏移模板和相乘之后進行通道上的疊加,得到特征圖,代表目標在水平和豎直兩個方向上的偏移模板;之后將進行2倍上采樣恢復為大小,同時,將特征圖的水平與豎直兩個通道分別與步驟51得到的進行通道上的疊加,再經過卷積形成水平和豎直方向上特征圖大小不變、通道數為9的2個特征圖,將這2個特征圖進行通道上的疊加得到輸出特征圖; 步驟53,將步驟4中得到的熱圖與步驟51得到的特征圖進行哈德瑪乘積生成特征圖,將與步驟52得到的特征圖一起進行可變形卷積生成特征圖; 步驟54,將依次使用3個卷積操作、下采樣操作,生成第幀特征圖;將步驟51中得到的特征圖使用3個卷積進行操作,生成第幀特征圖; 步驟55,將步驟54中的得到的第幀特征圖共同輸入注意力傳播模塊進行特征傳播得到帶有目標檢測框的跟蹤特征圖; 步驟6,采用步驟1的訓練集對由步驟2、3、4、5組成的多目標檢測與跟蹤模型進行訓練,并采用測試集進行測試,最終得到訓練好的多目標檢測與跟蹤模型; 步驟7,將待檢測的視頻數據輸入訓練好的多目標檢測與跟蹤模型,得到帶有目標檢測框的跟蹤特征圖。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人長安大學,其通訊地址為:710064 陜西省西安市雁塔區二環南路中段126號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。