南京郵電大學張夢純獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉南京郵電大學申請的專利上下文聚合網絡以及基于該網絡的圖像實時語義分割方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114821061B 。
龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210486074.5,技術領域涉及:G06V10/26;該發明授權上下文聚合網絡以及基于該網絡的圖像實時語義分割方法是由張夢純;高廣謂;徐國安;吳飛;岳東設計研發完成,并于2022-05-06向國家知識產權局提交的專利申請。
本上下文聚合網絡以及基于該網絡的圖像實時語義分割方法在說明書摘要公布了:本發明涉及一種用于實時語義分割的高效多尺度上下文聚合網絡,包括下采樣模塊、不對稱卷積模塊、多分支不對稱卷積模塊、空間注意模塊、通道注意模塊和上采樣模塊,所述不對稱卷積模塊包括兩個或三個不對稱卷積單元,所述多分支不對稱卷積模塊包括三個多分支不對稱卷積單元。本發明網絡主干分支的編碼器與解碼器部分基本成對稱關系。在解碼器最后,對圖像進行一次上采樣操作,即可獲得原始分辨率圖像。最后一次上采樣模塊即為分類卷積,其輸出為原始分辨率大小的最終預測結果,將預測結果與對應的語義標簽進行對比,目標函數設置為交叉熵損失函數,就可得到訓練好的網絡模型。使用這個訓練好的網絡模型,方便進行圖像語義分割的結果預測。
本發明授權上下文聚合網絡以及基于該網絡的圖像實時語義分割方法在權利要求書中公布了:1.基于上下文聚合網絡的圖像實時語義分割方法,其特征在于,包括以下步驟: 步驟1、構建基于輕量級對稱網絡的實時語義分割網絡模型,包含下采樣模塊、不對稱卷積模塊、多分支不對稱卷積模塊、空間注意模塊、通道注意模塊、上采樣模塊;所述不對稱卷積模塊包括兩個或三個不對稱卷積單元,所述多分支不對稱卷積模塊包括三個多分支不對稱卷積單元;所述不對稱卷積模塊在聚合網絡的編碼器部分分為第一編碼器不對稱卷積模塊和第二編碼器不對稱卷積模塊,第一編碼器不對稱卷積模塊包含三個不對稱卷積單元,其卷積核為3,第二編碼器不對稱卷積模塊包含兩個不對稱卷積單元,其卷積核為5;所述不對稱卷積模塊在聚合網絡的解碼器部分分為第一解碼器不對稱卷積模塊和第二解碼器不對稱卷積模塊,第一解碼器不對稱卷積模塊由兩個不對稱卷積單元組成,其卷積核為5,第二解碼器不對稱卷積模塊由兩個不對稱卷積單元組成,其卷積核為3;所述多分支不對稱卷積單元包含四個不對稱卷積分支,每個不對稱卷積分支采用不對稱空洞卷積,其卷積核分別為3,5,7,9,擴張率均為2;所述下采樣模塊包含一個卷積層和一個池化層,所述卷積層的核為3×3,所述池化層的步幅為2;所述上采樣模塊包含一個核為3×3,步幅為2的反卷積層; 步驟2、初始輸入圖像輸入到下采樣模塊進行第一次下采樣,以提取出初始圖像的特征,并且將其圖像分辨率變為12, F1=DownFin1 其中,Fin表示輸入圖像,Down表示降采樣率為2的降采樣模塊,F1表示對初始圖像進行第一次降采樣率為2的下采樣后的輸出; 然后,對經過第一次下采樣后的圖像,使用編碼器的第一個不對稱卷積模塊進行處理, F13=C1×3C3×1C1×3C3×1C1×3C3×1F18 其中,F1表示對初始圖像進行第一次降采樣率為2的下采樣后的輸出,C3×1表示卷積核為3×1的卷積操作,C1×3表示卷積核為1×3的卷積操作,F13表示編碼器第一個不對稱卷積模塊的輸出; 步驟3、將編碼器第一個不對稱卷積模塊的輸出F13與12分辨率圖像經過空間注意力模塊處理后的輸出Y1進行第一次特征融合, Fc1=ConcatF13,Y19 其中,Concat表示級聯操作,Fc1表示第一次特征融合后的輸出特征圖; 步驟4、將第一次特征融合后的輸出特征圖輸送到通道注意模塊進行處理, FCAM1=CAMFc110 其中,CAM表示通道注意力模塊,FCAM1表示第一個通道注意模塊的輸出; 再將第一個通道注意模塊的輸出輸送至下采樣模塊進行第二次下采樣,以提取輸出特征圖像的特征, F2=DownFCAM111 其中,Down表示降采樣率為2的降采樣模塊,F2表示圖像經過第二次下采樣之后得到的14分辨率的輸出; 然后,使用編碼器的第二個不對稱卷積模塊對經過第二次下采樣后的圖像進行處理, F22=C1×5C5×1C1×5C5×1F212 其中,C5×1表示卷積核為5×1的卷積操作,C1×5表示卷積核為15的卷積操作,F22表示編碼器第二個不對稱卷積模塊的輸出; 步驟5、將編碼器第二個不對稱卷積模塊的輸出F22與14分辨率圖像經過空間注意力模塊處理后的輸出Y2進行第二次特征融合, Fc2=ConcatF22,Y213 其中,Y2表示14分辨率圖像經過空間注意力模塊處理后的輸出,Fc2表示第二次特征融合后的輸出; 步驟6、將第二次特征融合后的輸出特征圖輸送到通道注意模塊進行處理, FCAM2=CAMFc214 其中,FCAM2表示第二個通道注意力模塊的輸出; 再將第二個通道注意模塊的輸出輸送至下采樣模塊進行第三次下采樣,以提取輸出特征圖像的特征, F3=DownFCAM215 其中,F3表示圖像經過第三次下采樣之后得到的18分辨率的輸出; 然后,使用多分支不對稱卷積模塊對經過第三次下采樣后的圖像進行處理, F31=PFCU1F332 F32=PFCU2F3133 F33=PFCU3F3234 其中,PFCU1表示第一個多分支不對稱卷積單元,PFCU2表示第二個多分支不對稱卷積單元,PFCU3表示第三個多分支不對稱卷積單元,F31表示第一個多分支不對稱卷積單元的輸出,F32表示第二個多分支不對稱卷積單元的輸出,F33表示第三個多分支不對稱卷積單元的輸出; 步驟7、將多分支不對稱卷積模塊的輸出F33與18分辨率圖像經過空間注意力模塊處理后的輸出Y3進行第三次特征融合, Fc3=ConcatF33,Y335 其中,Y3表示18分辨率圖像經過空間注意力模塊處理后的輸出,Fc3表示第三次特征融合后的輸出; 步驟8、將第三次特征融合后的輸出特征圖輸送到通道注意模塊進行處理, FCAM3=CAMFc336 其中,FCAM3表示第三個通道注意力模塊輸出; 再將第三個通道注意模塊的輸出輸送至上采樣模塊進行第一次上采樣, F4=UPFCAM337 其中,UP表示上采樣率為2的上采樣模塊,F4表示經過第一個上采樣模塊后得到的14分辨率的輸出; 然后,使用解碼器的第一個不對稱卷積模塊對經過第一次上采樣后的圖像進行處理, F42=C1×5C5×1C1×5C5×1F438 其中,C5×1表示卷積核為5×1的卷積操作,C1×5表示卷積核為15的卷積操作,F42表示解碼器第一個不對稱卷積模塊的輸出; 步驟9、將經過解碼器第一次卷積處理后的圖像輸送到通道注意模塊進行處理, FCAM4=CAMF4239 其中,FCAM4表示第四個通道注意力模塊輸出; 再將第四個通道注意模塊的輸出輸送至上采樣模塊進行第二次上采樣, F5=UPFCAM440 其中,F5表示經過第二個上采樣模塊后得到的12分辨率的輸出; 然后,使用解碼器的第二個不對稱卷積模塊對經過第一次上采樣后的圖像進行處理, F52=C1×3C3×1C1×3C3×1F541 其中,C3×1表示卷積核為3×1的卷積操作,C1×3表示卷積核為13的卷積操作,F52表示解碼器第二個不對稱卷積模塊的輸出; 步驟10、將經過解碼器第二次卷積處理后的圖像輸送到上采樣模塊進行第三次上采樣,以獲得整個語義分割網絡的預測輸出, Fout=UPF5242 其中,Fout表示經過第三個上采樣模塊后得到的全分辨率的輸出。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人南京郵電大學,其通訊地址為:210003 江蘇省南京市鼓樓區新模范馬路66號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。