買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉桂林電子科技大學申請的專利一種視頻描述方法、裝置、系統以及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116721372B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310651531.6，技術領域涉及：G06V20/40；該發明授權一種視頻描述方法、裝置、系統以及存儲介質是由蔡曉東;龍順宏設計研發完成，并于2023-06-02向國家知識產權局提交的專利申請。

本一種視頻描述方法、裝置、系統以及存儲介質在說明書摘要公布了：本發明提供一種視頻描述方法、裝置、系統以及存儲介質，屬于視頻描述領域，方法包括：S1：構建訓練模型，訓練模型包括第一編碼器、特征提取器以及第一解碼器；S2：通過第一編碼器對待訓練視頻進行編碼得到待處理視頻特征；S3：通過特征提取器對待處理視頻特征進行特征提取得到初始視頻特征以及視覺特征；S4：通過第一解碼器對視覺特征進行解碼得到預測標簽向量；S5：分析預測標簽向量以及初始視頻特征與真實標簽的損失函數，并根據分析結果得到視頻描述模型。本發明能夠充分的挖掘視頻中的主要信息，同時更好的探索文本語義和視覺內容之間的相關性，有效的提高了視頻描述的準確性。

本發明授權一種視頻描述方法、裝置、系統以及存儲介質在權利要求書中公布了：1.一種視頻描述方法，其特征在于，包括如下步驟： S1：導入待訓練視頻，并構建訓練模型，所述訓練模型包括第一編碼器、特征提取器以及第一解碼器； S2：通過所述第一編碼器對所述待訓練視頻進行編碼，得到多個待處理視頻特征； S3：通過所述特征提取器分別對各個所述待處理視頻特征進行特征提取，得到與各個所述待處理視頻特征對應的初始視頻特征以及與各個所述待處理視頻特征對應的視覺特征； S4：通過所述第一解碼器分別對各個所述視覺特征進行解碼，得到與各個所述待處理視頻特征對應的預測標簽向量； S5：導入與各個所述待處理視頻特征對應的真實標簽，分析所有所述預測標簽向量以及所有所述初始視頻特征與所有所述真實標簽的損失函數，并根據分析結果得到視頻描述模型； S6：導入待描述視頻，通過所述視頻描述模型對所述待描述視頻進行視頻描述，得到視頻描述結果； 所述第一編碼器包括InceptionResNetV2模型、C3D模型以及Faster-RCNN模型，所述S2的過程包括： 通過所述InceptionResNetV2模型對所述待訓練視頻進行特征提取，得到多個初始上下文特征； 通過所述C3D模型對所述待訓練視頻進行特征提取，得到多個初始動作特征； 通過所述Faster-RCNN模型對所述待訓練視頻進行特征提取，得到多個初始目標對象特征，其中，所述待處理視頻特征包括所述初始上下文特征、所述初始動作特征以及所述初始目標對象特征； 所述特征提取器包括目標對象特征提取單元、動作特征提取單元以及全局特征提取單元，所述初始上下文特征、所述初始動作特征以及所述初始目標對象特征一一對應， 所述S3的過程包括： 通過所述目標對象特征提取單元分別對各個所述初始上下文特征、與各個所述初始上下文特征對應的初始動作特征以及與各個所述初始上下文特征對應的初始目標對象特征進行特征提取，得到與各個所述初始上下文特征對應的待處理目標對象特征； 通過所述動作特征提取單元分別對各個所述初始動作特征以及與各個所述初始上下文特征對應的待處理目標對象特征進行特征提取，得到與各個所述初始上下文特征對應的目標動作特征； 通過所述全局特征提取單元分別對各個所述初始上下文特征、與各個所述初始上下文特征對應的待處理目標對象特征以及與各個所述初始上下文特征對應的目標動作特征進行特征提取，得到與各個所述初始上下文特征對應的全局特征； 將各個所述待處理目標對象特征、與各個所述初始上下文特征對應的目標動作特征以及與各個所述初始上下文特征對應的全局特征進行拼接，得到與各個所述待處理視頻特征對應的視覺特征，其中，所述初始視頻特征包括所述待處理目標對象特征、所述目標動作特征以及所述全局特征； 所述真實標簽包括與所述待處理目標對象特征一一對應的目標對象正標簽以及目標對象負標簽、與所述目標動作特征一一對應的動作正標簽以及動作負標簽、與所述全局特征一一對應的字幕正標簽以及字幕負標簽和多個目標單詞獨熱編碼， 所述S5中，分析所有所述預測標簽向量以及所有所述初始視頻特征與所有所述真實標簽的損失函數，并根據分析結果得到視頻描述模型的過程包括： 通過BERT模型分別對與各個所述待處理目標對象特征一一對應的目標對象正標簽以及目標對象負標簽、與各個所述目標動作特征一一對應的動作正標簽以及動作負標簽和與各個所述全局特征一一對應的字幕正標簽以及字幕負標簽進行編碼，得到與各個所述待處理目標對象特征一一對應的目標對象正標簽向量以及目標對象負標簽向量、與各個所述目標動作特征一一對應的動作正標簽向量以及動作負標簽向量和與各個所述全局特征一一對應的字幕正標簽向量以及字幕負標簽向量； 通過第四式對所有所述目標對象正標簽向量、所有所述目標對象負標簽向量、所有所述動作正標簽向量、所有所述動作負標簽向量、所有所述字幕正標簽向量、所有所述字幕負標簽向量、所有所述待處理目標對象特征、所有所述目標動作特征、所有所述全局特征、所有所述預測標簽向量以及所有所述目標單詞獨熱編碼進行計算，得到目標損失值，所述第四式為： L＝Lo+La+Lg+Lp， 其中， 其中，L為目標損失值，Lo為目標對象損失值，La為動作損失值，Lg為全局損失值，Lp為預測標簽損失值，αo為預設目標對象閾值，αa為預設動作閾值，αg為預設全局閾值，d為距離，O'i為第i個初始上下文特征對應的待處理目標對象特征，為第i個待處理目標對象特征對應的目標對象負標簽向量，為第i個待處理目標對象特征對應的目標對象正標簽向量，A'i為第i個初始上下文特征對應的目標動作特征，為第i個目標動作特征對應的動作負標簽向量，為第i個目標動作特征對應的動作正標簽向量，Gi為第i個初始上下文特征對應的全局特征，為第i個全局特征對應的字幕負標簽向量，為第i個全局特征對應的字幕正標簽向量，Pi為第i個初始上下文特征對應的預測標簽向量，δwi為第i個目標單詞獨熱編碼，L為初始上下文特征的總數； 根據所述目標損失值對所述訓練模型進行參數更新，更新后返回S2，直至達到預設迭代次數，將參數更新后的訓練模型作為視頻描述模型。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人桂林電子科技大學，其通訊地址為：541004 廣西壯族自治區桂林市七星區金雞路1號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。