買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉西安電子科技大學申請的專利基于記憶單元優化特征的圖文跨模態檢索方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116578947B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310572494.X，技術領域涉及：G06F18/26；該發明授權基于記憶單元優化特征的圖文跨模態檢索方法是由高迪輝;盛立杰;苗啟廣設計研發完成，并于2023-05-19向國家知識產權局提交的專利申請。

本基于記憶單元優化特征的圖文跨模態檢索方法在說明書摘要公布了：本發明公開了一種基于記憶單元優化特征的圖像文本互檢索方法，主要解決現有技術難以準確表達圖像與文本語義特征，導致檢索準確率低的問題。其實現方案為：獲取訓練集和測試集；分別構建特征提取網絡和記憶單元子網絡；用訓練集訓練特征提取網絡，并用該網絡輸出的圖像與文本特征訓練記憶單元子網絡；將測試集輸入到訓練好的特征提取網絡，得到圖像和文本的特征；將該圖像和文本的特征輸入到優化后的記憶單元子網絡中，得到優化后圖像特征與優化后文本特征；計算優化后圖像與優化后文本的特征相似度，檢索得到圖像?文本檢索結果與文本?圖像檢索結果。本發明能準確表達圖像與文本的語義特征，提高檢索準確率，可用于自然圖像和文本的相互匹配。

本發明授權基于記憶單元優化特征的圖文跨模態檢索方法在權利要求書中公布了：1.一種基于記憶單元優化特征的圖文跨模態檢索方法，其特征在于，包括如下步驟： 1從Flickr30k數據集中任意選取80％的圖像及其對應的文本對組成訓練集，20％的圖像及其對應的文本對組成測試集； 2構建特征提取網絡： 2a搭建一個由第一卷積層，第二卷積層，全連接層級聯組成的圖像特征處理子網絡，用于提取圖像的特征； 2b搭建一個由Bert層和全連接層級聯組成的文本特征處理子網絡，用于提取文本的特征； 2c將圖像特征處理子網絡與文本特征處理子網絡并聯組成特征提取網絡； 3從訓練集中隨機選擇1％個未選過的圖像及其對應的文本，作為特征提取網絡的輸入； 4將所選圖像及其對應的文本輸入到特征提取網絡中，分別輸出每張圖像的特征以及每張圖像對應文本的特征； 5構建一個由可學習參數層，第一自注意力層，第二自注意力層，第三自注意力層，全連接層級聯組成的記憶單元子網絡；所述可學習參數層，其包含1個可變參數，可變參數的大小為2*1024，通過如下公式為每張圖像及其對應文本拼接可變參數： 其中，M表示可變參數，vi表示所選圖像及其對應的文本中第i張圖像的特征，表示所選圖像及其對應的文本中第i張圖像拼接可變參數后的特征，tj表示所選圖像及其對應的文本中第j個文本的特征，表示所選圖像及其對應的文本中第j個文本拼接可變參數后的特征，[·,·]表示向量拼接操作； 6將每張圖像與其對應文本的特征輸入到記憶單元子網絡中，分別輸出每張圖像優化后的特征以及每張圖像對應文本優化后的特征； 7計算所選圖像及其對應的文本中每張圖像與其對應文本的特征相似度Si,j，i表示第i張圖像，j表示第j個文本； 8根據特征相似度Si,j，設置記憶單元子網絡的損失函數： Loss′i,j＝max[0.2-Si,j+Si,·[n],0]+max[0.2-Si,j+S·,j[n],0] 其中，Loss′i,j表示所選圖像及其對應的文本中第i張圖像的特征與第j個文本的特征的損失值；Si,·[n]表示計算所選圖像及其對應文本中第i張圖像與所有文本的特征相似度，在從大到小排序后所選擇的第n個位置特征相似度；S·,j[n]表示計算所選圖像及其對應的文本中第j個文本與所有圖像的特征相似度，在從大到小排序后所選擇的第n個位置特征相似度； 9將每張圖像與其對應文本的特征相似度代入到記憶單元子網絡損失函數Loss′i,j中，得到每張圖像與其對應文本的損失值θi,j，并用其計算特征提取網絡和記憶單元子網絡各個節點的梯度； 10利用梯度對特征提取網絡和記憶單元子網絡的各個節點權重進行更新，并判斷當前更新迭代后記憶單元子網絡的損失值是否小于0.00001： 若是，則得到訓練好的特征提取網絡和記憶單元子網絡，執行步驟11； 否則，返回步驟3； 11對待檢索的圖像文本進行互檢索： 11a將測試集中所有圖像文本對輸入到訓練好的特征提取網絡中，得到待檢索的圖像文本對中每一張圖像和每一個文本的特征； 11b將每一張圖像和每一個文本的特征輸入到訓練好的記憶單元子網絡中，得到每一張圖像優化后的特征和每一個文本優化后的特征； 11c計算每一張優化后圖像與每一個優化后文本的特征相似度Si,j； 11d從所有計算得到的相似度中，選擇每張圖像與其相似度最高的文本作為圖像-文本檢索結果，選擇每個文本與其相似度最高的圖像作為文本-圖像檢索結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西安電子科技大學，其通訊地址為：710071 陜西省西安市雁塔區太白南路2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。