江西師范大學謝建文獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉江西師范大學申請的專利基于可見光相關性特征融合的紅外圖像超分辨率重建方法獲國家發(fā)明授權專利權,本發(fā)明授權專利權由國家知識產(chǎn)權局授予,授權公告號為:CN120339079B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權授權公告中獲悉:該發(fā)明授權的專利申請?zhí)?專利號為:202510829165.8,技術領域涉及:G06T3/4053;該發(fā)明授權基于可見光相關性特征融合的紅外圖像超分辨率重建方法是由謝建文;胡蕾;李云洪;鄒凱宇設計研發(fā)完成,并于2025-06-20向國家知識產(chǎn)權局提交的專利申請。
本基于可見光相關性特征融合的紅外圖像超分辨率重建方法在說明書摘要公布了:本發(fā)明公開了基于可見光相關性特征融合的紅外圖像超分辨率重建方法,屬于圖像處理技術領域。本發(fā)明將上采樣低分辨率紅外圖像輸入到可學習紋理提取模塊,從中提取查詢特征;將經(jīng)過下采樣再上采樣處理的可見光圖像以及高分辨率可見光圖像,輸入到紋理特征編碼模塊,從中提取鍵特征和值特征;根據(jù)查詢特征與鍵特征生成相關性引導圖和對應特征加權圖;根據(jù)對應特征加權圖與值特征得到遷移特征圖;將淺層特征、相關性引導圖和遷移特征圖輸入到跨模態(tài)特征融合模塊,得到融合特征并輸入到Transformer圖像重建模塊,生成超分辨率紅外圖像。本發(fā)明顯著提升了可見光對紅外細節(jié)重建的引導效果,使得重建圖像在紋理細節(jié)上更加清晰銳利。
本發(fā)明授權基于可見光相關性特征融合的紅外圖像超分辨率重建方法在權利要求書中公布了:1.一種基于可見光相關性特征融合的紅外圖像超分辨率重建方法,其特征是,步驟如下: S1:將低分辨率紅外圖像輸入到淺層特征提取模塊,提取其淺層特征F;將上采樣低分辨率紅外圖像輸入到可學習紋理提取模塊,從中提取查詢特征Q;將經(jīng)過下采樣再上采樣處理的可見光圖像以及高分辨率可見光圖像,輸入到紋理特征編碼模塊,從中提取鍵特征K和值特征V;將查詢特征Q與鍵特征K輸入至相關性計算模塊,相關性計算模塊計算兩者之間的相似度,并生成相關性引導圖S以及用于加權的對應特征加權圖C: ; 其中,表示計算得到的權重,也是對應特征加權圖C中的一個元素,k為高分辨率可見光圖像中的空間位置索引,為低分辨率紅外圖像中第i個位置與高分辨率可見光圖像中第j個位置之間的相似度,為低分辨率紅外圖像中第i個位置的特征與高分辨率可見光圖像中第k個位置之間的相似度; 將對應特征加權圖C與值特征V輸入至對應特征加權模塊,利用對應特征加權圖C與值特征V進行加權: ; 其中,表示最終遷移到低分辨率紅外圖像中第i個位置的紋理特征,也就是遷移特征圖M中第i個位置的值,為值特征V中對應高分辨率可見光圖像第j個位置的特征向量;得到遷移特征圖M; 相關性引導圖S按下式計算: ; 其中,表示相關性引導圖S中的第i個位置的值; S2:將淺層特征F、相關性引導圖S和遷移特征圖M輸入到跨模態(tài)特征融合模塊CFFM,跨模態(tài)特征融合模塊首先將淺層特征F和遷移特征圖M進行通道拼接;接著,利用相關性引導圖S對拼接后的特征執(zhí)行逐元素相乘操作,以實現(xiàn)對融合過程的智能調制和引導,調制后的特征隨后通過一個層歸一化塊;層歸一化后的特征被送入兩個并行分支:一個分支包含一個3×3卷積和ReLU激活函數(shù),用于捕獲局部空間特征;另一個分支包含一個1×1卷積和ReLU激活函數(shù),用于進行通道維度的交互和特征投影;兩個分支的輸出隨后再次進行通道拼接,并通過一個1×1卷積進行最終的特征整合;最后,將整合后的特征與原始輸入的淺層特征F進行逐元素相加,形成一個局部殘差連接,得到最終的融合特征; S3:將融合特征輸入到Transformer圖像重建模塊,利用Transformer圖像重建模塊對融合特征進行進一步處理、上采樣和細節(jié)恢復,最終生成超分辨率紅外圖像;所述Transformer圖像重建模塊由n個級聯(lián)的殘差多尺度注意力組、3個3×3卷積、一個亞像素卷積層以及一個全局殘差連接而成;殘差多尺度注意力組依次由m個級聯(lián)的殘差多尺度注意力塊、一個重疊交叉融合注意塊、一個3×3卷積和一個局部殘差構成;每個殘差多尺度注意力塊是一個功能單元,殘差多尺度注意力塊首先對原始輸入特征進行第一次層歸一化,然后將第一次歸一化后的特征并行送入多尺度通道注意力塊和移位窗口多頭自注意力塊;將多尺度通道注意力塊和移位窗口多頭自注意力塊的輸出求和后,與原始輸入特征進行第一次殘差連接,得到中間特征;接著,中間特征依次經(jīng)過第二次層歸一化和多層感知器;最后將多層感知器的輸出與中間特征進行第二次殘差連接,得到殘差多尺度注意力塊的輸出特征; 所述多尺度通道注意力塊的處理流程為:輸入特征首先經(jīng)過一個3×3卷積進行特征提取,然后送入多尺度大核注意力模塊進行處理;多尺度大核注意力模塊的輸出分兩路,第一路經(jīng)過GELU激活函數(shù)和多層感知器處理,第二路經(jīng)過GELU激活函數(shù)和最大池化操作,兩路結果進行逐元素相加,接著通過Sigmoid激活函數(shù),再將Sigmoid激活函數(shù)的輸出與多尺度大核注意力模塊的輸出特征進行逐元素相乘,相乘結果隨后經(jīng)過一個3×3卷積,接著送入通道注意力塊進行處理。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯(lián)系本專利的申請人或專利權人江西師范大學,其通訊地址為:330000 江西省南昌市高新技術開發(fā)區(qū)紫陽大道99號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據(jù)或者憑證。