買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉博大視野(廈門)科技有限公司申請的專利基于特征追蹤的音視頻流多模態(tài)異常檢測方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120259688B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510734076.5，技術(shù)領(lǐng)域涉及：G06V10/46；該發(fā)明授權(quán)基于特征追蹤的音視頻流多模態(tài)異常檢測方法及系統(tǒng)是由吳南海;顏意民;陳玉明;翁淵彬;田設(shè)金;王傳智設(shè)計研發(fā)完成，并于2025-06-04向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于特征追蹤的音視頻流多模態(tài)異常檢測方法及系統(tǒng)在說明書摘要公布了：本發(fā)明屬于音視頻處理技術(shù)領(lǐng)域，公開了一種基于智能特征追蹤的音視頻流多模態(tài)實時異常檢測方法及系統(tǒng)，包括：通過灰度圖轉(zhuǎn)換、特征點提取與全局對齊，精準(zhǔn)匹配當(dāng)前幀與歷史幀，結(jié)合特征點位移和局部灰度差異判斷異常特征點，能有效捕捉視頻中細(xì)微變化。基于動態(tài)閾值，結(jié)合異常、消失和新增特征點數(shù)量判斷視頻異常，增強了檢測的適應(yīng)性和準(zhǔn)確性。同時設(shè)定采樣參數(shù)并進(jìn)行分幀、STFT處理，利用梅爾濾波器組提取對數(shù)梅爾頻譜圖，通過能量比、頻譜中心差值和Frobenius范數(shù)差異多指標(biāo)對比，全面分析音頻異常。音視頻多模態(tài)結(jié)合，從不同維度綜合判斷，提升了異常檢測的全面性和可靠性，適用于實時監(jiān)控等場景。

本發(fā)明授權(quán)基于特征追蹤的音視頻流多模態(tài)異常檢測方法及系統(tǒng)在權(quán)利要求書中公布了：1.基于特征追蹤的音視頻流多模態(tài)異常檢測方法，其特征在于，包括： 采集并存儲音視頻流數(shù)據(jù)，并選取當(dāng)前幀的視頻流數(shù)據(jù)和所存儲的任一歷史幀視頻流數(shù)據(jù)進(jìn)行轉(zhuǎn)換，獲取灰度圖； 對當(dāng)前幀視頻流數(shù)據(jù)和歷史幀視頻流數(shù)據(jù)所對應(yīng)的灰度圖分別進(jìn)行特征點提取，并對歷史幀視頻流數(shù)據(jù)對應(yīng)的灰度圖及特征點進(jìn)行全局對齊，進(jìn)而匹配當(dāng)前幀和全局對齊后的歷史幀圖像； 在當(dāng)前幀和對齊后的歷史幀圖像中提取局部區(qū)域，基于不同時刻下特征點的位移和局部區(qū)域的平均灰度差異，判斷每個特征點是否為異常特征點； 所述不同時刻下特征點的位移為： di＝||Δpi||； 其中，Δpi為不同時刻下特征點的位移值，di為Δpi的絕對值；表示第i個特征點在當(dāng)前時刻t的位置；表示第i個特征點在當(dāng)前時刻t-k的位置； 為消除不同設(shè)備視場及圖像尺寸的影響，對不同時刻下特征點的位移進(jìn)行歸一化，具體為： 其中，Dmax取圖像對角線長度或根據(jù)設(shè)備視場設(shè)定的上界；為特征點的歸一化值； 對于每個特征點，在當(dāng)前幀和對齊后的歷史幀中提取大小為V×V的局部Patch，對灰度值歸一化到[0,1]后進(jìn)行計算： 其中，Di表示該局部區(qū)域的平均灰度差異；表示以當(dāng)前幀t的第i個特征點為中心的鄰域圖像幀，表示以歷史幀t-k的第i個特征點為中心的鄰域圖像幀；表示兩個圖像幀差值向量的范數(shù)； 對于每個特征點pi是否為異常特征點進(jìn)行判斷，當(dāng)歸一化后的特征點的位移值大于位移異常閾值時，或局部區(qū)域的平均灰度差異大于局部差異閾值時，當(dāng)前特征點為異常特征點，具體為： 其中，θd為位移異常閾值，θp為局部差異閾值；Ai表示異常特征點標(biāo)志位，Ai為1時，則為異常點，Ai為0時，則為非異常點； 基于異常特征點的數(shù)量、消失特征點和新增特征點的總和與預(yù)設(shè)的動態(tài)閾值的關(guān)系，判斷所選取的視頻流數(shù)據(jù)是否異常； 統(tǒng)計異常特征點的數(shù)量，具體為： 其中，為異常特征點數(shù)量；r為總的特征采樣點數(shù)目； 綜合總異常數(shù)，具體為： 其中，Nabn為綜合總異常數(shù)，Ndisappeared為消失特征點數(shù)量，即在歷史幀存在但當(dāng)前幀中未匹配到的特征點數(shù)量；Nnew為新增特征點數(shù)量，即當(dāng)前幀中出現(xiàn)但在歷史幀中不存在的特征點數(shù)量； 將所獲取的綜合總異常數(shù)與預(yù)設(shè)的動態(tài)閾值進(jìn)行對比，當(dāng)綜合總異常數(shù)大于預(yù)設(shè)的動態(tài)閾值時，則判定所選取的視頻流數(shù)據(jù)是否異常； 預(yù)設(shè)的動態(tài)閾值為θnt＝α2·M+β2； 其中，M為當(dāng)前幀所有特征點總數(shù)；α2表示在當(dāng)前場景單個特征點被誤判為異常的概率；β2為補償系數(shù)； 設(shè)定音頻采樣參數(shù)，提取所選取的音視頻流數(shù)據(jù)中的音頻數(shù)據(jù)； 對音頻數(shù)據(jù)進(jìn)行分幀、STFT處理得到音頻頻譜，并借助梅爾濾波器組提取并轉(zhuǎn)換為對數(shù)梅爾頻譜圖； 基于設(shè)定的時間間隔m，獲取當(dāng)前音頻段與前m秒音頻段的能量比指標(biāo)和頻譜中心差值；并基于對數(shù)梅爾頻譜圖，獲取對數(shù)梅爾頻譜圖的Frobenius范數(shù)差異； 所述當(dāng)前音頻段與前m秒音頻段的能量比指標(biāo)，具體為： 所述當(dāng)前音頻段的均方根能量為： 其中，N為采樣數(shù)據(jù)的個數(shù)；為第t秒中第c個聲音數(shù)據(jù)采樣點的數(shù)值； 當(dāng)前段的均方根能量Et與前段均方根能量Et-m的比值為 其中，ε是正數(shù)常量，用于避免分母為零； 音頻進(jìn)行FFT得到頻譜Stf，計算頻譜中心，具體為： 其中，Stf表示在時刻t的音頻信號經(jīng)FFT得到的頻譜值；f為頻率變量，F(xiàn)為頻率集合； 當(dāng)前音頻段與前m秒音頻段的頻譜中心差值為： ΔC＝|Ct-Ct-m|； 其中，Ct為t時刻的頻譜中心，Ct-m為t-m時刻的頻譜中心，t-m為t時刻前m秒； 所述基于對數(shù)梅爾頻譜圖，獲取對數(shù)梅爾頻譜圖的Frobenius范數(shù)差異，具體為： 當(dāng)前時間t和前m秒之間的對數(shù)梅爾頻譜圖Frobenius范數(shù)差異是DSt,t-m，表示為 DSt,t-m＝||logSt-logSt-m||F； 其中，logSt為當(dāng)前時間t的對數(shù)梅爾頻譜圖，logSt-m為前m秒的對數(shù)梅爾頻譜圖； 分別將能量比指標(biāo)、頻譜中心差值和Frobenius范數(shù)差異與預(yù)設(shè)的能量比閾值、頻譜中心差值閾值和Frobenius范數(shù)差異閾值進(jìn)行對比，判斷所提取的音頻是否異常聲音。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人博大視野(廈門)科技有限公司，其通訊地址為：361008 福建省廈門市火炬高新區(qū)軟件園二期觀日路48號202室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。