買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉杭州電子科技大學;中國電子科技集團公司電子科學研究院申請的專利基于深度局部自注意力網絡的視頻密集描述生成方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115205760B 。

龍圖騰網通過國家知識產權局官網在2025-09-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210966913.3，技術領域涉及：G06V20/40；該發明授權基于深度局部自注意力網絡的視頻密集描述生成方法是由余宙;鄭力祥;俞俊;袁柳;劉弋鋒;劉小晗設計研發完成，并于2022-08-11向國家知識產權局提交的專利申請。

本基于深度局部自注意力網絡的視頻密集描述生成方法在說明書摘要公布了：本發明提出一種基于深度局部自注意力網絡的視頻密集描述生成方法。本發明步驟如下：1、數據集預處理以及數據集的劃分，使用訓練好的行為識別網絡對視頻提取特征；2、構建視頻結構化密集描述的序列，并構建該序列的文本特征；3、構建序列到序列建模的深度局部自注意力網絡；4、通過反向傳播算法對步驟3中的網絡參數進行訓練，直至整個網絡模型收斂。本發明同時將密集視頻描述中的事件定位與事件描述兩個子任務聯合建模為一個序列生成任務，將兩個獨立的子任務緊密聯系在一起，起到相互促進的作用，相比于大部分兩階段方法模型沒有過多的超參數需要手工調整，訓練模型更加方便，性能有了進一步提升。

本發明授權基于深度局部自注意力網絡的視頻密集描述生成方法在權利要求書中公布了：1.基于深度局部自注意力網絡的視頻密集描述生成方法，其特征在于包括如下步驟： 步驟1：數據集預處理以及數據集的劃分，使用訓練好的行為識別網絡對視頻提取特征； 步驟2：構建視頻結構化密集描述的序列，并構建該序列的文本特征； 步驟3：構建序列到序列建模的深度局部自注意力網絡； 步驟4：通過反向傳播算法對步驟3中的網絡參數進行訓練，直至整個網絡模型收斂； 步驟3所述的構建序列到序列建模的深度局部自注意力網絡，具體實現如下： 3-1.構建自適應局部掩碼矩陣來屏蔽全局的感知； 3-1-1.首先構建初始矩陣公式如下： 其中i，j分別為矩陣的橫縱坐標，fv為每秒傳輸幀數，t為總時長，a為視頻進行采樣間隔幀數； 3-1-2.視頻特征F經過全連接映射轉化為特征向量公式如下： X＝LinearF公式9 3-1-3.特征向量X依次通過池化層、ReLU激活層、線性層得到局部因子α，公式如下： α＝LinearReLUPoolingX公式10 3-1-4.局部因子α與初始矩陣M0相乘，通過函數Fx與自然對數計算得到自適應局部掩碼矩陣Ml，公式如下： Ml＝lnFαM0公式12 3-2.構建自適應局部自注意力編碼器 將特征向量X和自適應局部掩碼矩陣Ml作為SA的輸入，輸出公式如下： G＝SAX,Ml公式13 SA的具體公式如下： G'＝LNX+MHAX,X,X,Ml公式14 G＝LNG'+FFNG'公式15 其中MHA的輸入是X和自適應局部掩碼矩陣Ml，輸出是包含視頻前后幀信息的特征向量G'，FFN的輸入是特征向量G'，公式如下： Q＝LinearX公式16 K＝LinearX公式17 V＝LinearX公式18 其中分別由X經過全連接層映射得到； 3-3.深度堆疊編碼器 以特征向量X作為輸入編碼器，深度堆疊編碼器，將堆疊的第N層編碼器的輸出特征XN作為第N+1層編碼器的輸入，迭代往復，最終得到編碼后的視頻特征X'； 3-4.構建解碼器 前n個單詞的文本特征Ln經過全連接映射加上位置編碼轉化為特征向量 公式如下： 其中pos∈[1,2,…,…,t],i∈[0,1,2,…,…,dm2] Y＝LinearL+PEn公式22 將特征向量Y和掩碼矩陣Mt∈{-∞,0}n×n作為SA的輸入，輸出公式如下： Y'＝SAY,Mt公式24 其中i，j分別為矩陣的橫縱坐標； 將X',Y'作為GA的輸入，輸出公式如下： Z＝GAX',Y'公式25 GA的具體公式如下： Z'＝LNY'+MHAX',X',Y'公式26 Z＝LNZ'+FFNZ'公式27 3-5.深度堆疊解碼器 以視頻特征X'與文本特征Y作為解碼器輸入，深度堆疊解碼器，將視頻特征X'和第N層解碼器的輸出特征IN作為第N+1層解碼器的輸入，迭代往復，最終得到多模態視頻文本特征 3-6.計算損失函數 將3-5輸出的多模態視頻文本特征I經過全連接層得到預測序列 公式如下： Wn＝LinearI公式28 將預測序列Wn同對應的目標序列Ln一起輸入到最大似然估計損失函數中，計算預測序列與真實序列之間的差距，具體公式如下： 其中，b為視頻結構化密集描述的序列C所包含的單詞數量。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州電子科技大學;中國電子科技集團公司電子科學研究院，其通訊地址為：310018 浙江省杭州市下沙高教園區2號大街；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。