西北工業大學文載道獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉西北工業大學申請的專利一種基于環境感知的自適應紅外與可見光圖像融合方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119762360B 。
龍圖騰網通過國家知識產權局官網在2025-09-16發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411926393.9,技術領域涉及:G06T5/50;該發明授權一種基于環境感知的自適應紅外與可見光圖像融合方法是由文載道;王知明設計研發完成,并于2024-12-25向國家知識產權局提交的專利申請。
本一種基于環境感知的自適應紅外與可見光圖像融合方法在說明書摘要公布了:本發明公開了一種基于環境感知的自適應紅外與可見光圖像融合方法,包括:步驟1:將紅外特征圖和可見光特征圖沿空間維度分割成多個相互不重疊的塊圖;步驟2:利用編碼器分別將各塊圖內的提取特征嵌入對應的塊圖內得到對應的最終特征圖;步驟3:得到環境因素矢量;步驟4:利用環境因素矢量調節紅外圖像的最終特征圖和可見光圖像的最終特征圖的拼接和融合得到融合圖像;本發明將可見光圖像中包含的環境信息作為一種先驗知識,指導紅外與可見光的融合過程,使融合過程能夠根據環境中的天氣狀況和光照水平自適應調整,從而確保在多樣化和動態的環境中獲得更可靠的融合結果。
本發明授權一種基于環境感知的自適應紅外與可見光圖像融合方法在權利要求書中公布了:1.一種基于環境感知的自適應紅外與可見光圖像融合方法,其特征在于,包括: 步驟1:利用卷積神經網絡提取紅外圖像和可見光圖像的特征分別得到紅外特征圖和可見光特征圖;并將紅外特征圖和可見光特征圖沿空間維度分割成多個相互不重疊的塊圖; 步驟2:利用編碼器分別將各塊圖內的提取特征嵌入對應的塊圖內得到對應的最終特征圖; 步驟3:提取可見光圖像的天氣信息特征和照明信息特征,并將天氣信息特征和照明信息特征級聯后降維并歸一化得到環境因素矢量; 具體地,為了提取代表離散天氣類型的因素,將此任務重新定義為由天氣感知模塊WAM解決的分類問題,模塊基于視覺Transformer網絡;令Ivi表示可見光圖像,首先將圖像劃分為不重疊的塊,然后用線性變換嵌入這些塊,所得到的嵌入向量隨后被饋送到局部Transformer編碼器,輸出用于天氣分類的特征向量fwea,這個過程表示為fwea=WAMIvi; 計算輸入可見光圖像Ivi的直方圖,并設計一個基于多層感知器的照明感知模塊IAM,以將直方圖映射到用于照明水平預測任務的特征嵌入向量;過程表示為fillu=IAMhistIvi,其中hist·表示圖像直方圖提取算子; 根據設計的編碼器,紅外和可見光圖像被分解成捕獲視覺紋理、紅外信息、天氣類型和照明水平的幾組信息因素;對于圖像融合任務,使用以下操作融合fwea和fillu的環境因素: 其中代表沿著信道維度的級聯操作,MLPenv表示多層感知機網絡,σ是將qenv中的每個值歸一化到0,1之間的Sigmoid函數,所得到的矢量qenv對從可見光圖像提取的綜合環境信息進行編碼; 步驟4:利用環境因素矢量調節紅外圖像的最終特征圖和可見光圖像的最終特征圖的拼接和融合得到融合圖像; 具體地,對于Fvi和Fir中的視覺因子,分別線性變換為查詢矩陣、鍵矩陣和值矩陣,即Qvi,Kvi,Vvi和Qir,Kir,Vir;利用qenv對Qvi和Qir進行加權,如下所示: 其中,⊙代表逐元素廣播乘積,然后,基于環境信息調制的查詢矩陣和在后續的局部交叉注意機制內被交換和利用; 利用將包含環境調制的紅外視覺信息注入到Kvi和Vvi,這個操作使得模型能夠有選擇性地關注有信息量的紅外特征,并將其與對應的可見特征進行融合;將三元組饋送到局部Transformer編碼器中,局部約束的交叉注意操作產生最終的特征圖Fir→vi,其捕獲了細化的交叉模態表示; 將Kir和Vir饋送到另一個局部Transformer編碼器中以產生最終特征圖Fvi-ir,最后將這些特征圖拼接起來獲得環境調制融合特征,如下所示: 給定融合特征圖Ffus,最終的融合圖像Ifus將通過設計一個基于CNN的通用解碼器,并結合一個損失函數來獲得。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人西北工業大學,其通訊地址為:710072 陜西省西安市友誼西路127號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。