買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉南京郵電大學(xué)申請的專利一種基于模塊遷移的無監(jiān)督目標(biāo)跟蹤方法和系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115375732B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210992655.6，技術(shù)領(lǐng)域涉及：G06T7/246；該發(fā)明授權(quán)一種基于模塊遷移的無監(jiān)督目標(biāo)跟蹤方法和系統(tǒng)是由譚元詠;康彬;陳高偉;蘇諾宇;顏俊設(shè)計研發(fā)完成，并于2022-08-18向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于模塊遷移的無監(jiān)督目標(biāo)跟蹤方法和系統(tǒng)在說明書摘要公布了：本發(fā)明提供了一種基于模塊遷移的無監(jiān)督目標(biāo)跟蹤方法及系統(tǒng)。該方法包括在網(wǎng)絡(luò)第一個卷積層與第二個卷積層之間添加在有監(jiān)督網(wǎng)絡(luò)中已經(jīng)訓(xùn)練好的通道注意力層；在通道注意力層后添加元遷移學(xué)習(xí)網(wǎng)絡(luò)層；以及進(jìn)行回溯訓(xùn)練。本發(fā)明通過元遷移學(xué)習(xí)機(jī)制來在線更新被遷移通道注意力模塊的參數(shù)，以此讓無監(jiān)督網(wǎng)絡(luò)具專注被跟蹤目標(biāo)顯著性區(qū)域。與傳統(tǒng)異構(gòu)無監(jiān)督學(xué)習(xí)相比，本發(fā)明不僅涉及分類與回歸這兩種異構(gòu)任務(wù)的遷移，而且涉及圖像處理任務(wù)到視頻處理任務(wù)間的跨越，實現(xiàn)一個圖像域到多個視頻幀域之間的域自適應(yīng)。同時，本發(fā)明可在保證遷移性能的前提下降低遷移運(yùn)算復(fù)雜度，有效提升無監(jiān)督目標(biāo)跟蹤在復(fù)雜場景下的跟蹤精度。

本發(fā)明授權(quán)一種基于模塊遷移的無監(jiān)督目標(biāo)跟蹤方法和系統(tǒng)在權(quán)利要求書中公布了：1.一種基于模塊遷移的無監(jiān)督目標(biāo)跟蹤方法，其特征在于：包括在網(wǎng)絡(luò)第一個卷積層與第二個卷積層之間添加在有監(jiān)督網(wǎng)絡(luò)中已經(jīng)訓(xùn)練好的通道注意力層；在通道注意力層后添加元遷移學(xué)習(xí)網(wǎng)絡(luò)層；進(jìn)行回溯訓(xùn)練； 添加通道注意力層的步驟包括：首先，將上一層卷積層輸出的多通道特征圖作為輸入，分別經(jīng)過自適應(yīng)最大池化和自適應(yīng)平均池化操作來聚合特征圖的空間信息，生成兩個不同的空間上下文描述符：和以分別表示最大合并特征和平均合并特征；之后，將這兩個特征經(jīng)過同一個共享網(wǎng)絡(luò)，生成通道注意圖Mc∈Rc×1×1；在共享網(wǎng)絡(luò)應(yīng)用于每個特征后，使用元素求和合并輸出特征向量；其中，共享網(wǎng)絡(luò)由包含兩個卷積層的多層感知器MLP組成，通道注意力的計算方法為公式1所示： 其中，McF為生成的通道注意圖，σ為Sigmoid函數(shù)，MLP為多層感知器，AvgPool為平均池化函數(shù)，MaxPool為最大池化函數(shù)，W0∈Rcr×cW1∈Rc×cr為兩個連續(xù)的卷積核大小為1x1的卷積層,唯一的ReLU激活函數(shù)是添加在W0之后；將生成的通道注意力圖與輸入的多通道特征圖進(jìn)行點乘，可以使得特定通道的特征圖對應(yīng)的權(quán)重得到提升，從而讓網(wǎng)絡(luò)能夠提取到全面的目標(biāo)特征； 將元遷移學(xué)習(xí)網(wǎng)絡(luò)層添加在通道注意力層后面，通過在線訓(xùn)練縮放和平移參數(shù)來構(gòu)建新的卷積層，在不改變特征圖維度大小的情況下對預(yù)訓(xùn)練好的通道注意力層參數(shù)進(jìn)行在線更新優(yōu)化，以此達(dá)到通道注意力模塊從分類模型到回歸模型中的遷移學(xué)習(xí)； 所述回溯訓(xùn)練包括：輸入第一幀圖像，通過高斯函數(shù)生成隨機(jī)的初始化目標(biāo)邊界框標(biāo)簽，首先前向跟蹤以預(yù)測其在后續(xù)幀中的位置，直到第三幀圖像預(yù)測出邊界框后，反轉(zhuǎn)視頻序列并以第三幀預(yù)測出的邊界框作為偽標(biāo)簽，進(jìn)行反向跟蹤，預(yù)測出第一幀圖像上的目標(biāo)邊界框；通過計算第一幀圖像上反向跟蹤預(yù)測出的邊界框與初始化的邊界框之間的差異，構(gòu)造網(wǎng)絡(luò)的一致性損失，并通過大量的視頻數(shù)據(jù)訓(xùn)練不斷縮小此差異，從而訓(xùn)練出較好的網(wǎng)絡(luò)模型參數(shù)； 訓(xùn)練階段流程包括以下步驟： 步驟一：對現(xiàn)有的視頻數(shù)據(jù)進(jìn)行預(yù)處理，將每幀圖像以目標(biāo)為中心裁剪成125x125x3大小的圖像； 步驟二：對圖像數(shù)據(jù)做數(shù)據(jù)增強(qiáng)，包括圖像翻轉(zhuǎn)、平移、仿射變換等操作； 步驟三：將第一幀與第二幀圖像輸入孿生網(wǎng)絡(luò)中，經(jīng)過第一層卷積層生成123x123x32的多通道特征圖，之后特征圖進(jìn)入預(yù)訓(xùn)練好的通道注意力層，將生成的維度為32x1的注意力權(quán)重與原來123x123x32的特征圖相乘，從而提高通道所對應(yīng)的特征圖權(quán)重，經(jīng)過注意力權(quán)重的覆蓋后，特征圖進(jìn)入元遷移學(xué)習(xí)層，之后經(jīng)過最后一層卷積層以及歸一化網(wǎng)絡(luò)層后輸出121x121x32大小的特征圖，最終特征圖結(jié)合高斯模型函數(shù)生成的第一幀圖像的初始化標(biāo)簽，通過判別相關(guān)濾波器生成對應(yīng)的響應(yīng)圖；其中，第一幀為模板幀，第二幀為搜尋幀； 步驟四：將響應(yīng)圖中像素點的峰值位置視為預(yù)測的下一幀目標(biāo)中心位置，并以此根據(jù)高斯模型函數(shù)處理生成第二幀圖像的偽標(biāo)簽； 步驟五：將第二幀與第三幀圖像以及步驟四生成的偽標(biāo)簽送入網(wǎng)絡(luò)模型中，重復(fù)步驟三得到相應(yīng)的響應(yīng)圖，并生成第三幀圖像的偽標(biāo)簽；其中，第二幀為模板幀，第三幀為搜尋幀；以及， 步驟六：反轉(zhuǎn)視頻序列，以第三幀圖像為模板幀，反向預(yù)測出第一幀圖像上的偽標(biāo)簽，將此偽標(biāo)簽與第一幀的初始化標(biāo)簽做歐氏距離計算，以此構(gòu)建網(wǎng)絡(luò)的一致性損失，其計算公式如公式2所示： 其中，RT為預(yù)測的偽標(biāo)簽，YT為初始化的標(biāo)簽，將RT與YT上每個對應(yīng)的像素點做平方差求和，得到一致性損失函數(shù)Lfb,最終網(wǎng)絡(luò)模型通過對Lfb損失進(jìn)行反向傳播對網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練,得到高效的無監(jiān)督目標(biāo)跟蹤模型。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人南京郵電大學(xué)，其通訊地址為：210023 江蘇省南京市鼓樓區(qū)新模范馬路66號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。