買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州電子科技大學申請的專利一種基于腦眼融合的多模態視頻流目標檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN118470300B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202410568120.5，技術領域涉及：G06V10/25；該發明授權一種基于腦眼融合的多模態視頻流目標檢測方法是由孔萬增;馬龍杰;洪晨益;陳承瑞;莫凱麟;何秉峰;張建海設計研發完成，并于2024-05-09向國家知識產權局提交的專利申請。

本一種基于腦眼融合的多模態視頻流目標檢測方法在說明書摘要公布了：本發明公開了一種基于腦眼融合的多模態視頻流目標檢測方法。該方法采集被試觀看步復雜視頻內容時的腦電數據與眼動數據，制作腦電正負樣本對、眼動正負樣本對，以及在通道維度拼接的腦電—眼動拼接樣本。然后將正負樣本對輸入特征提取模型中，進行對比學習，訓練模型參數。再將腦電樣本、眼動樣本以及拼接樣本輸入分類器中進行學習。最后將未知樣本輸入訓練好的分類器中，并將預測為目標的對應樣本眼動數據取出，根據注視點和注視時間繪制注視區域，生成熱點圖，獲得目標的運動軌跡，實現目標檢測。該方法利用多模態信息搜索同類別相似信息，實現了信息的互補，在較高的識別率下揭示了目標的移動軌跡，提高了識別的可靠性。

本發明授權一種基于腦眼融合的多模態視頻流目標檢測方法在權利要求書中公布了：1.一種基于腦眼融合的多模態視頻流目標檢測方法，其特征在于：具體包括以下步驟： 步驟1、制作腦機實驗范式 在多個地點采用不同角度拍攝目標行人視頻，制作成快速視覺呈現范式； 步驟2、采集腦電數據和眼動數據 向被試播放步驟1中制作的視頻內容，同步采集被試在觀看視頻內容時的腦電數據和眼動數據； 步驟3、數據預處理與樣本對構建 對步驟2采集到數據進行預處理，得到腦電樣本和眼動樣本，并根據標簽構建正負樣本對；然后將腦電樣本與眼動樣本按順序一一對應，在通道維度進行拼接，得到拼接樣本； 步驟4、提取腦電特征和眼動特征 將一個樣本對中的兩個樣本依次輸入特征提取模型中，首先使用多頭自注意力機制提取時空間注意力權重，獲得不同維度之間的依賴關系，然后進行時間維度和空間維度的特征提取，從而得到兩個樣本的特征向量； 步驟5、對比學習 將一個樣本對的兩個特征向量映射到向量空間中，計算兩個特征向量之間的空間距離，并通過損失函數對空間距離進行反向傳播，更新特征提取模型的參數； 步驟6、多模態特征融合 將腦電樣本、眼動樣本依次輸入經過對比學習后的特征提取模型中，將對應的拼接樣本輸入未進行對比學習的特征提取模型中，分別得到三個樣本對應的特征向量，再輸入分類器中，利用下采樣的類別平衡數據對分類器進行訓練，得到三個樣本的獨立預測結果；然后，訓練一組自適應的可學習權重，用于將三個獨立的預測結果融合在一起，從而輸出最終的預測結果； 步驟7、線上視頻目標檢測 采集被試觀看視頻時產生的腦電數據和眼動數據，處理后輸入步驟6訓練好的特征提取模型與分類器中，得到對未知樣本有無目標、目標出現和消失的預測，然后將預測結果為目標出現的樣本的眼動數據取出，根據注視點和注視時間繪制注視區域，生成熱點圖，獲得目標的運動軌跡。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州電子科技大學，其通訊地址為：310018 浙江省杭州市下沙高教園區2號大街；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。