買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉山東交通學院申請的專利基于知識庫的視覺問答雙流注意力多跳推理方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116976438B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310664568.2，技術領域涉及：G06N5/025；該發明授權基于知識庫的視覺問答雙流注意力多跳推理方法及系統是由朱振方;孫彥晗;李克峰;亓江濤;裴洪麗;張廣淵;王朋設計研發完成，并于2023-06-05向國家知識產權局提交的專利申請。

本基于知識庫的視覺問答雙流注意力多跳推理方法及系統在說明書摘要公布了：本發明提出基于知識庫的視覺問答雙流注意力多跳推理方法及系統，涉及機器理解領域。包括獲取問題、圖像和對應的圖像知識庫，得到知識超圖和問題超圖，進而得到知識超圖特征和問題超圖特征；計算問題超圖引導的知識超圖的關聯矩陣，獲得與問題超邊最相關的知識超邊，計算每一個知識超邊的權重，提取以問題超邊為中心的知識超邊第一聚合信息；計算知識超圖引導的問題超圖的關聯矩陣，獲得與知識超邊最相關的問題超邊，計算每一個問題超邊的權重，提取以知識超邊為中心的問題超邊第二聚合信息；將第一聚合信息和第二聚合信息輸入至答案預測層中，輸出預測答案。本發明有效提高模型的自適應推理能力和降低冗余信息對于模型的干擾。

本發明授權基于知識庫的視覺問答雙流注意力多跳推理方法及系統在權利要求書中公布了：1.基于知識庫的視覺問答雙流注意力多跳推理方法，其特征在于，包括以下步驟： 獲取問題、圖像和對應的圖像知識庫；獲取基于知識的視覺問答數據集和基于知識的文本問答數據集數據集中的問題和圖像； 將問題和圖像分別輸入至超圖編碼層中進行編碼，得到知識超圖和問題超圖；將問題和圖像分別輸入至超圖編碼層中進行編碼，得到知識超圖和問題超圖，具體為：將知識庫中大量的知識事實視為一個巨大的知識圖，通過圖遍歷來構造超圖；將一個三元組定義為圖遍歷的基本單位，每個圖遍歷包含三個節點{head，predicate，tail}，然后通過多跳圖遍歷編碼多個相互關聯的關系事實，n跳圖遍歷則將n個事實合并為一個超邊，由此得到知識超圖；將問題句子中每一個單詞定義為一個節點并且有到相鄰節點的邊，多跳圖遍歷與知識超圖相同，一個短語作為是問題超圖中的一個超邊，由此得到問題超圖； 將知識超圖和問題超圖利用注意力機制進行初步處理，得到知識超圖特征和問題超圖特征；將知識超圖和問題超圖利用注意力機制進行初步處理，具體包括：使用多頭注意力機制增加問題超圖自身的注意權重，使用引導注意力層學習知識超邊和問題超邊之間的相關性，之后通過自注意層學習問題超邊和知識超邊內部各自的語義關系，得到知識超圖特征和問題超圖特征； 基于知識超圖特征和問題超圖特征，計算問題超圖引導的知識超圖的關聯矩陣，獲得與問題超邊最相關的知識超邊，計算每一個知識超邊的權重，提取以問題超邊為中心的知識超邊所具有的第一聚合信息；同時計算知識超圖引導的問題超圖的關聯矩陣，獲得與知識超邊最相關的問題超邊，計算每一個問題超邊的權重，提取以知識超邊為中心的問題超邊所具有的第二聚合信息； 所述第一聚合信息的具體獲取過程為：首先基于知識超圖特征和問題超圖特征，計算問題引導的問題超圖與知識超圖的關聯矩陣Aq，評估知識超圖中每個超邊與問題超圖中每個超邊的相關性；然后計算關聯Aq矩陣上的行最大池層，獲得與問題超邊最相關的知識超邊；采用獨熱編碼分類分布對每一個知識超邊進行權重計算；根據獨熱編碼分類分布獲得的權重分布，僅提取權重值為1索引位置上的以問題超邊為中心的知識超邊所具有的信息，聚合成第一聚合信息Zk； 所述第二聚合信息的具體獲取過程為：基于知識超圖特征和問題超圖特征，計算知識超圖引導的知識超圖與問題超圖的關聯矩陣Ak；然后計算關聯矩陣Ak上的行最大池層，獲得與知識超邊最相關的問題超邊；采用獨熱編碼分類分布對每一個問題超邊進行權重計算；根據獨熱編碼分類分布獲得的權重分布，僅提取權重值為1索引位置上的以知識超邊為中心的問題超邊所具有的信息，聚合成第二聚合信息Zq； 將第一聚合信息和第二聚合信息進行拼接融合，將拼接融合后的聚合信息輸入至答案預測層中，輸出問題對應的預測答案。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人山東交通學院，其通訊地址為：250300 山東省濟南市天橋區交校路5號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。