合肥工業大學徐田園獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉合肥工業大學申請的專利基于子空間適應性間距的跨模態檢索方法及存儲介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114691986B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210277795.5,技術領域涉及:G06F16/9535;該發明授權基于子空間適應性間距的跨模態檢索方法及存儲介質是由徐田園;劉學亮;洪日昌;汪萌;楚喻棋設計研發完成,并于2022-03-21向國家知識產權局提交的專利申請。
本基于子空間適應性間距的跨模態檢索方法及存儲介質在說明書摘要公布了:本發明的一種基于子空間適應性間距的跨模態檢索方法及存儲介質,包括以下步驟,數據預處理,進行訓練集測試集數據劃分,并提取數據的原始高維特征;輸入原始高維特征到網絡模型獲取圖像文本的公共特征和對應的預測標簽信息;使用公共特征和標簽信息計算每種模態不同類別樣本的適應性間距損失,然后結合注意力機制聚焦圖片和文本中類別信息用于增強不同類別的判別性,最后計算不同模態之間的不變性損失;再通過反向傳播對損失函數進行優化去迭代網絡模型至收斂;使用收斂的網絡模型計算所有圖像文本的公共特征;最后對查詢數據特征與公共特征進行相似度計算并排序返回結果。采用本發明進行跨模態檢索的精度高于現有方法進行跨模態檢索的精度。
本發明授權基于子空間適應性間距的跨模態檢索方法及存儲介質在權利要求書中公布了:1.一種基于子空間適應性間距的跨模態檢索方法,其特征在于,包括以下步驟, 步驟一、數據預處理,進行訓練集測試集數據劃分,并提取數據的原始高維特征; 步驟二、輸入原始高維特征進入網絡模型獲取模型輸出的圖像和文本的公共特征以及對應的預測標簽信息,從而得到子空間文本與圖像特征; 步驟三、使用公共特征和標簽信息計算每種模態中不同類別樣本的適應性間距損失,結合注意力機制聚焦圖片和文本中類別信息用于增強不同類別的判別性,以及計算不同模態樣本之間的不變性損失; 步驟四、再通過反向傳播對損失函數進行優化去迭代網絡模型直到模型收斂為止; 步驟五、使用收斂后的網絡模型計算所有圖像和文本的公共特征; 步驟六、最后對查詢數據特征與公共特征進行相似度計算并排序返回結果; 其中步驟三具體為: S4、對步驟S2中得到的子空間文本與圖像特征,假設有一個文本特征vi和圖像特征ki,那么計算出vi與其屬于相同類別文本的相似度同理計算出處 和其中是余弦函數; S5、對于步驟S2中的子空間圖像特征qi,計算出與之相同類別子空間文本特征相似度不同類別子空間文本特征相似度同理計算結合適應性間距函數構建文本到圖像以及圖像到文本三元損失函數 S6、對于每一對圖像文本對經過步驟S2得到與之對應的子空間圖像與文本特征qi,si,計算同一對圖像文本對的相似性以及不成對的圖像文本之間的相似性采用三元組損失約束與之間相似性距離 S7、對于步驟S3預測的標簽,使用F范數約束圖像預測標簽Pm與真實標簽Y和文本預測標簽Pt與真實標簽Y的距離同時使用三元組損失增強圖像、文本類別預測的準確性 S8、所述注意力機制由文本自注意機制與圖像自注意機制構成,其中對于文本自注意機制原始輸入S經過一個由三個ReLU激活函數的2048維線性層分別映射到查詢空間Q,鍵空間K和值空間V,然后采用比例縮放的點積注意機制公式fQ,K,V計算圖像注意力特征M和文本注意力特征N,結合適應性間距函數構建文本到圖像以及圖像到文本三元損失函數 其中,聯合和得到總的目標損失函數并對損失函數進行優化與模型訓練,得到子空間深度網絡參數wr,損失函數如下: 其中,λ1、λ2、λ3和λ4為超參數,為文本到圖像以及圖像到文本三元損失函數,為相似性距離損失,為圖像預測標簽與真實標簽和文本預測標簽與真實標簽的距離,為用于增強圖像、文本類別預測準確性的三元組損失,為基于注意力機制的文本到圖像以及圖像到文本三元損失函數; 其中,如下:
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人合肥工業大學,其通訊地址為:230009 安徽省合肥市包河區屯溪路193號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。