買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉大連理工大學(xué);河南省水利勘測(cè)設(shè)計(jì)研究有限公司申請(qǐng)的專利自適應(yīng)視覺(jué)-語(yǔ)言匹配檢測(cè)與跟蹤方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120563868B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202511047813.0，技術(shù)領(lǐng)域涉及：G06V10/75；該發(fā)明授權(quán)自適應(yīng)視覺(jué)-語(yǔ)言匹配檢測(cè)與跟蹤方法是由趙潔;高英;王新平;王棟;劉洋設(shè)計(jì)研發(fā)完成，并于2025-07-29向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本自適應(yīng)視覺(jué)-語(yǔ)言匹配檢測(cè)與跟蹤方法在說(shuō)明書摘要公布了：本發(fā)明屬于計(jì)算機(jī)視覺(jué)、視覺(jué)?語(yǔ)言匹配檢測(cè)、多模態(tài)目標(biāo)跟蹤領(lǐng)域，公開(kāi)了一種自適應(yīng)視覺(jué)?語(yǔ)言匹配檢測(cè)與跟蹤方法。首先利用預(yù)訓(xùn)練多模態(tài)大模型的模態(tài)對(duì)齊與表征優(yōu)勢(shì)，構(gòu)建視覺(jué)?語(yǔ)言多模態(tài)跟蹤大模型；并提出視覺(jué)上下文感知提示學(xué)習(xí)算法，從當(dāng)前搜索特征中提取視覺(jué)上下文特征，采用提示學(xué)習(xí)將其融入文本編碼過(guò)程，實(shí)現(xiàn)文本特征對(duì)視覺(jué)變化的動(dòng)態(tài)感知；此外，設(shè)計(jì)語(yǔ)言自適應(yīng)隱式更新機(jī)制，通過(guò)在文本編碼過(guò)程中嵌入可學(xué)習(xí)向量，并結(jié)合動(dòng)態(tài)的視覺(jué)上下文線索，實(shí)現(xiàn)在跟蹤過(guò)程中對(duì)文本特征的隱式更新，使靜態(tài)語(yǔ)言能夠動(dòng)態(tài)匹配視覺(jué)外觀，從而提升視覺(jué)?語(yǔ)言檢測(cè)跟蹤性能。

本發(fā)明授權(quán)自適應(yīng)視覺(jué)-語(yǔ)言匹配檢測(cè)與跟蹤方法在權(quán)利要求書中公布了：1.一種自適應(yīng)視覺(jué)-語(yǔ)言匹配檢測(cè)與跟蹤方法，其特征在于，步驟如下： 步驟1：構(gòu)建視覺(jué)-語(yǔ)言多模態(tài)跟蹤大模型； 視覺(jué)-語(yǔ)言多模態(tài)跟蹤大模型，包括圖像分支、文本分支、關(guān)聯(lián)模型和跟蹤模塊；圖像分支和文本分支分別用于處理圖像與文本輸入；圖像分支包括圖像編碼器，模板圖像與搜索圖像通過(guò)圖像編碼器進(jìn)行圖像編碼，得到模板特征和搜索特征；文本分支包含上下文提示器和文本編碼器，先通過(guò)CLIP預(yù)訓(xùn)練模型的分詞模塊將語(yǔ)言指令的每個(gè)單詞編碼為文本詞向量后，再通過(guò)上下文提示器將搜索特征作為提示融合至文本詞向量中，融合后的文本詞向量通過(guò)文本編碼器提取文本特征；再將獲取的模板特征、搜索特征與文本特征共同輸入關(guān)聯(lián)模型進(jìn)行多模態(tài)的注意力交互融合，得到融合后的模板特征、搜索特征與文本特征；最后，將融合后的搜索特征輸入跟蹤模塊進(jìn)行跟蹤預(yù)測(cè)； 視覺(jué)-語(yǔ)言多模態(tài)跟蹤大模型的整體流程表示如下： ； ； ； ； 其中，和分別表示模板圖像與當(dāng)前第t幀搜索圖像；表示語(yǔ)言指令；和表示由圖像編碼器提取的模板圖像與當(dāng)前第t幀搜索圖像對(duì)應(yīng)的模板特征與搜索特征；為圖像編碼器的對(duì)應(yīng)參數(shù)；表示由文本編碼器提取的對(duì)應(yīng)文本特征；為文本編碼器的對(duì)應(yīng)參數(shù)；表示參數(shù)為的上下文提示器；表示個(gè)數(shù)為的預(yù)定義可學(xué)習(xí)詞向量；表示關(guān)聯(lián)模型；表示跟蹤模塊；與分別為關(guān)聯(lián)模塊和跟蹤模塊的對(duì)應(yīng)參數(shù)； 經(jīng)過(guò)視覺(jué)上下文特征增強(qiáng)的融合后的文本詞向量，隨后通過(guò)文本編碼器編碼為文本特征； 步驟2：基于提示學(xué)習(xí)的訓(xùn)練過(guò)程； 采用CLIP預(yù)訓(xùn)練模型作為文本編碼器，圖像編碼器與關(guān)聯(lián)模型采用使用CLIP監(jiān)督訓(xùn)練的Fast-iTPN預(yù)訓(xùn)練模型進(jìn)行初始化； 凍結(jié)文本編碼器的參數(shù)，上下文提示器通過(guò)提示學(xué)習(xí)調(diào)整其參數(shù)；僅通過(guò)更新可學(xué)習(xí)向量的參數(shù)與上下文提示器的上下文網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)文本編碼的優(yōu)化； 步驟3：文本自適應(yīng)隱式更新的推理過(guò)程； 在跟蹤推理階段，通過(guò)步驟2訓(xùn)練后的上下文提示器，在每一幀的跟蹤過(guò)程中，提取當(dāng)前幀的視覺(jué)上下文特征，并通過(guò)可學(xué)習(xí)向量插入至文本詞向量序列中，實(shí)現(xiàn)對(duì)文本特征的自適應(yīng)隱式更新。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人大連理工大學(xué);河南省水利勘測(cè)設(shè)計(jì)研究有限公司，其通訊地址為：116024 遼寧省大連市甘井子區(qū)凌工路2號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。