湖南工商大學佘亮獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉湖南工商大學申請的專利一種基于協作學習與IoST數據的場景圖生成方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120374960B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510839242.8,技術領域涉及:G06V10/25;該發明授權一種基于協作學習與IoST數據的場景圖生成方法是由佘亮;金澤暉;李姣燕設計研發完成,并于2025-06-23向國家知識產權局提交的專利申請。
本一種基于協作學習與IoST數據的場景圖生成方法在說明書摘要公布了:本申請涉及一種基于協作學習與IoST數據的場景圖生成方法,該方法通過對IoST場景下的圖片進行目標檢測,得到圖片中主語目標賓語目標的視覺特征;對于主語目標的視覺特征,計算出主語目標與賓語目標之間的差異引導提示向量;將添加位置編碼得到的初始視覺塊特征、差異引導提示向量經過多層第一Transformer,基于各層中的注意力機制將每層輸入的任意一種視覺塊特征與對應差異引導提示向量進行融合,而最后一層輸出若干個主語視覺特征塊;對賓語目標的視覺特征進行相同處理,得到若干個賓語視覺特征塊;基于各主語視覺特征塊與各賓語視覺特征塊得到關系分類結果;最后,基于關系分類結果、主語目標、賓語目標構建出場景圖。
本發明授權一種基于協作學習與IoST數據的場景圖生成方法在權利要求書中公布了:1.一種基于協作學習與IoST數據的場景圖生成方法,其特征在于,包括: S1:獲取IoST場景下待處理的圖片,利用目標檢測器對圖片進行目標檢測,得到圖片中各目標的類別、邊界框以及視覺特征,目標包括主語目標賓語目標; S2:為主語目標的視覺特征添加位置編碼,得到初始視覺塊特征;計算出主語目標與賓語目標之間類別、邊界框的差異,得到差異引導提示向量;將初始視覺塊特征經過多層第一Transformer,從第二層開始每層第一Transformer的輸入均為上一層輸出的視覺塊特征;基于各層第一Transformer中的S2P_MSA機制將每層輸入的初始視覺塊特征視覺塊特征與差異引導提示向量進行融合,最后一層第一Transformer輸出若干個主語視覺特征塊; 得到差異引導提示向量的過程包括: 基于主語目標與賓語目標之間類別的語義向量差異,得到主賓語義差異特征; 將兩邊界框之間各橫坐標的相對位置差異、各縱坐標的相對位置差異、相對尺寸差異以及交集區域與主語目標的邊界框的比例差異一并輸入至全連接層,映射為主賓空間差異特征; 將主賓語義差異特征與主賓空間差異特征拼接后經過ReLU激活函數,并將所得的激活結果經過Dropout函數進行正則化,得到空間提示向量; 將歸一化的空間提示向量與任意一個歸一化的初始視覺塊特征視覺塊特征相乘,得到掩碼向量,將掩碼向量與初始視覺塊特征視覺塊特征進行矩陣元素乘積運算,得到對應的空間提示后的視覺塊特征; 將主賓空間差異特征經過全連接層進行映射,得到通道提示向量; 將對應的空間提示后的視覺塊特征與通道提示向量相乘,并將所得的乘積經過多層感知機,得到初始視覺塊特征視覺塊特征對應的差異引導提示向量; S3:將步驟S2中的主語目標的視覺特征替換為賓語目標的視覺特征,再次執行步驟S2,得到若干個賓語視覺特征塊; S4:將各主語視覺特征塊與各賓語視覺特征塊沿通道方向連接后分別經過全連接層,得到若干個主賓語義視覺特征;將主賓語義視覺特征經過關系解碼器,并將解碼結果映射為關系分類結果,基于關系分類結果、主語目標、賓語目標構建場景圖。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人湖南工商大學,其通訊地址為:410205 湖南省長沙市岳麓區岳麓大道569號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。