買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉華南師范大學申請的專利一種用于光場超分辨率的多視圖信息注意力交互網絡系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115147271B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210431821.5，技術領域涉及：G06F17/40；該發明授權一種用于光場超分辨率的多視圖信息注意力交互網絡系統是由吳立軍;段堯明;吳鈺;阮嘯寅;李強設計研發完成，并于2022-04-22向國家知識產權局提交的專利申請。

本一種用于光場超分辨率的多視圖信息注意力交互網絡系統在說明書摘要公布了：本發明公開了一種用于光場超分辨率的多視圖信息注意力交互網絡，一組低分辨率的光場圖像作為網絡的輸入，頂部分支包含重塑過程、特征提取模塊、四個雙注意力模塊；底部分支包含特征提取模塊和四個多視圖注意力模塊；這兩條支路提取的特征信息共同匯聚到融合重建模塊，首先利用全局圖像特征更新每個單視角圖像特征，使得每個視角特征能夠融合全局視角特征，再經過上采樣模塊，最后與輸入圖像的雙三次上采樣圖像相加得到最后的輸出圖像。本發明利用多視圖注意力模塊讓全局視角的權重大小變得不一樣，從而能夠更好、更合理地融合不同視圖之間的信息。本發明在圖像細節和紋理重建效果方面均比其他方法更好，視覺效果更接近于地面真實圖像。

本發明授權一種用于光場超分辨率的多視圖信息注意力交互網絡系統在權利要求書中公布了：1.一種用于光場超分辨率的多視圖信息注意力交互網絡系統，其特征在于，包括頂部分支、底部分支、融合重建模塊和上采樣模塊； 所述頂部分支包含依次串聯的重塑過程、特征提取模塊和四個雙注意力模塊；并將四個雙注意力模塊的輸出進行級聯； 所述底部分支包含依次串聯的特征提取模塊和四個多視圖注意力模塊；并將四個多視圖注意力模塊的輸出進行級聯； 將一組低分辨率的光場圖像作為網絡的輸入，分別經過頂部分支和底部分支提取光場圖像的特征信息；這兩條支路提取的特征信息共同匯聚到融合重建模塊，融合重建模塊首先利用全局圖像特征更新每個單視角圖像特征，使得每個視角特征能夠融合全局視角特征，再經過上采樣模塊，最后與輸入圖像的雙三次上采樣圖像相加得到最后的輸出圖像； 利用殘差密集空洞空間金字塔池化模塊和殘差塊作為網絡的特征提取模塊；選擇卷積核擴張率為1、2和5；通過級聯多個空洞卷積層，越往后的神經元就能獲得越來越大的感受野；擴張率為1、2和5的空洞卷積感受野分別為3×3、5×5和11×11，級聯后的感受野為17×17；將每一層的輸入和輸出的特征結合起來作為下一層的輸入；經過1×1的卷積層進行壓縮通道，再經過空洞卷積層后被修正線性單元函數激活；最后在網絡末端使用1×1卷積層對提取到的三個特征進行融合；網絡最終生成的特征能夠非常密集的覆蓋多個尺度范圍；通過快捷連接的方式，使得網絡學習的是一種殘差映射； 網絡的輸入低分辨率子孔徑圖像表示為I代表光場圖像，ILR代表低分辨率光場圖像，是多維實數空間；LR是低分辨率；N是光場全部視角個數；其中N＝U×V；U、V是光場的角度分辨率大小，U＝V＝5；W、H是子孔徑圖像的圖像大小，W＝H＝32；對應的網絡輸出高分辨率子孔徑圖像表示為其中ISR代表高分辨率光場圖像；SR是高分辨率；α是網絡的放大倍數；在底部分支中，輸入ILR經過特征提取模塊后，輸出的特征為C是網絡輸入的特征通道數；整個過程表示如下： Fviews＝HFEMILR1-1 其中，Fviews是提取到的特征，HFEM表示特征提取模塊的作用函數，稱為淺層特征提取器；Fviews不僅提取了單視角圖像的特征信息，還保留了視圖之間的相關性，用于方便后續對其視圖特征之間權重的學習；在頂部分支中，輸入ILR經過重塑形狀后再經過特征提取模塊，得到的輸出特征為Fglobal融合了視圖之間原有的相關性，提取了全局視圖的特征信息，用于關注全局圖像內部隱藏的信息，方便后續對其在空間位置和通道上權重的學習； 頂部分支中特征提取模塊的輸出特征作為雙注意力模塊的輸入特征Ftopin，將輸入的特征Ftopin分別進行沿垂直方向的一維全局池化操作和沿水平方向的全局池化操作，用于沿著垂直方向和水平方向對每個通道進行編碼，得到一對方向感知注意力圖；整個過程表示如下： 其中，HXGAP和HYGAP分別代表沿著水平和垂直方向的一維全局池化函數；FXGAP和FYGAP分別是生成的水平特征和豎直特征；生成的 通過這兩種變換，不僅擁有對一個空間方向的全局依賴，而且保留了另一個空間方向的精確位置信息；接著將生成的兩個特征級聯后，通過一個共享的1×1的卷積層和修正線性單元激活層，得到中間特征其中γ表示壓縮通道的比率，用于減少計算量；整個過程表示如下： FMid＝δH1×1[FXGAP,FYGAP]1-3 其中，δ表示修正線性單元激活函數，H1×1表示共享的1×1的卷積層，[·]表示級聯操作；FMid包含了水平方向和豎直方向的空間信息；接著沿著空間維度將FMid切分成兩個單獨的特征向量和經過一個1×1的卷積層將兩個特征向量擴充到和輸入相同的通道數；再經過Sigmoid激活層，得到和整個過程表示如下： 其中，FHS為縱向輸出特征，FWS為水平輸出特征,σ表示Sigmoid激活函數；最后將兩個方向的特征向量與輸入相乘，得到的輸出為： Ftopout＝Ftopin*FHS*FWS1-5 式中，Ftopout為學習到的空間-通道注意力特征，*表示兩個特征向量中對應位置元素相乘；至此，雙注意力模塊把水平方向和豎直方向的空間信息通過在通道上加權的方式融合，實現了同時對空間和通道的注意力；在雙注意力模塊的末端，Ftopout通過兩個殘差塊，再與輸入相加，得到雙注意力模塊的輸出k表示第k個雙注意力模塊輸出，k＝1,2,3,4；將四個雙注意力模塊的輸出特征級聯起來，再與特征提取模塊提取的淺層特征Fglobal疊加，得到頂部分支的最終輸出為： 其中，FTop為頂層分支的最終輸出特征，分別是第一個、第二個、第三個、第四個雙注意力模塊的輸出特征；H1×1為1×1的卷積層，用于將級聯后的特征通道數從4C減少到C； 底部分支中特征提取模塊的輸出特征作為多視圖注意力模塊的輸入特征Fbotin，首先需要變換輸入的特征Fbotin維度，使得接著將特征Fbotin分別通過最大值全局池化層和平均值全局池化層進行壓縮，得到和FGMP全局最大值特征，FGAP全局平均值特征；隨后兩個特征向量經過共享的網絡層，網絡層包含兩個1×1的卷積層和修正線性單元激活層；兩個1×1的卷積層的作用分別是壓縮通道和擴充通道，壓縮比率為θ，用于減少計算量；再將兩個特征向量求和后，經過Sigmoid激活層，最后與輸入特征相乘后輸出；整個過程表示如下： 其中，表示壓縮通道的1×1的卷積層權重，表示擴充通道的1×1的卷積層權重，在多視圖注意力模塊末端，特征FMA經過兩個殘差塊后，與輸入Fbotin疊加求和，得到模塊最終輸出將四個多視圖注意力模塊的輸出特征級聯起來，再與特征提取模塊提取的淺層特征Fviews疊加，得到底部分支的最終輸出特征為FBottom，并變換其維度；具體過程表示如下： 其中，分別為第一、二、三、四個多視圖注意力模塊的輸出特征，H1×1為1×1的卷積層，用于將級聯后的特征通道數從4C減少到C； 首先利用全局圖像特征FTop更新每個單視角圖像特征FBottom，使得每個視角特征能夠融合全局視角特征；具體過程如下：沿著通道維度，將FTop與FBottom中每個視角特征級聯起來得到融合特征再經過1×1的卷積層將通道數從2C壓縮到C，然后通過修正線性單元激活層得到融合特征將Ffus2中每個視角特征在通道維度級聯起來得到融合特征再通過共享的1×1的卷積層和修正線性單元激活層，用于讓每個視角特征能夠共享相互學習到的信息；最后重塑回原始維度輸入到殘差蒸餾模塊； 由四個殘差蒸餾塊組成，四個殘差蒸餾塊生成的特征被級聯起來，再通過一個1×1的卷積層進行壓縮通道和一個3×3的卷積層，最后與輸入疊加求和得到輸出特征FFRM；整個過程表示如下： 其中，分別為第一、二、三、四個殘差蒸餾塊的輸出特征，為最終得到的融合特征，作為殘差蒸餾模塊的輸入特征；H3×3為3×3的卷積層，H1×1為1×1的卷積層，用于將級聯后的特征通道數從4C減少到C； 采用蒸餾機制逐步提取和處理分層特征：殘差蒸餾塊對輸入的特征分成兩個部分，一個部分通過一個1×1的卷積層和修正線性單元激活層，以比例ε壓縮特征通道，得到實現信息蒸餾操作；另一部分經過一個3×3的卷積層、一個快捷連接分支和一個修正線性單元激活層后，得到進行下一次信息蒸餾；等到重復三次后，特征經過一個3×3的卷積層以比例ε壓縮特征通道得到隨后與之前三次得到的 級聯，再通過一個1×1的卷積層壓縮通道，最后通過快捷連接與輸入疊加求和得到最終輸出整個過程表示如下： 其中，Fin為殘差蒸餾塊的輸入特征，分別為第一、二、三、四次信息蒸餾得到的蒸餾特征；為第一、二、三次信息蒸餾得到的剩余特征；為第i個殘差蒸餾塊的輸出特征；通過這種方式，逐步提取有用的信息，并以高效的方式提高SR性能； 從融合重建模塊獲得的特征FFRM最終被饋送到上采樣模塊，首先通過一個1×1的卷積層對FFRM進行通道擴張，通道擴張的比率和上采樣的倍數相關，比率大小等于上采樣因子α的平方；然后經過像素混合層，生成大小為目標分辨率αH×αW的特征圖；最后經過一個1×1的卷積層將通道數壓縮成1，并與經過雙三次上采樣后的輸入ILR疊加求和得到超分辨率重建結果ISR。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人華南師范大學，其通訊地址為：510000 廣東省廣州市中山大道西55號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。