安徽大學錢付蘭獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉安徽大學申請的專利一種改進的卷積神經網絡模型的濾波器軟剪枝方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN117195998B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202311097640.4,技術領域涉及:G06N3/082;該發明授權一種改進的卷積神經網絡模型的濾波器軟剪枝方法是由錢付蘭;張崇浩;晏煥錢;蘇航;趙姝;張燕平;洪嘉成;陳海設計研發完成,并于2023-08-29向國家知識產權局提交的專利申請。
本一種改進的卷積神經網絡模型的濾波器軟剪枝方法在說明書摘要公布了:本發明公開了一種改進的卷積神經網絡模型的濾波器軟剪枝方法,包括步驟:S1、對神經網絡模型參數化設置;S2、對神經網絡模型訓練更新其參數,對BN層的縮放因子γ施加稀疏懲罰;S3、依據稀疏分布的縮放因子γ對部分卷積層濾波器參數置零;S4、依據參數置零情況進行剪枝,獲取輕量化神經網絡模型。本發明對神經網絡模型中的濾波器軟剪枝的流程進行了優化,通過去除軟剪枝流程中的預剪枝Pre?Pruning階段,并結合融合歷史梯度的參數優化器,使用不依賴于濾波器參數的剪枝標準即BN層的縮放因子γ,解決了軟剪枝面對類ReLU激活函數時無法生效的問題,克服現有濾波器軟剪枝方法的缺陷,從而發揮出軟剪枝方法的潛力,獲得更好的神經網絡模型性能。
本發明授權一種改進的卷積神經網絡模型的濾波器軟剪枝方法在權利要求書中公布了:1.一種改進的卷積神經網絡模型的濾波器軟剪枝方法,其特征在于,包括以下步驟: S1、選取神經網絡模型,對神經網絡模型進行參數化設置; S2、對參數化設置后的神經網絡模型進行訓練,更新神經網絡模型設置參數,在更新神經網絡模型設置參數的同時對神經網絡模型BN層的縮放因子γ進行稀疏懲罰; 輸入數據的預處理包括:如果選用2D分類模型,則輸入數據為圖片,輸入數據預處理包括統一圖像大小和歸一化處理,把輸入數據處理后轉換為張量類型的數據;如果選用3D分類模型,則輸入數據為點云,輸入數據預處理操作為點采樣,把輸入的點云數據處理后轉換為張量類型的數據; 所述S2中更新神經網絡模型設置參數的同時對神經網絡模型BN層的縮放因子γ進行稀疏懲罰的步驟為: S221、依據神經網絡模型輸入數據和輸出數據計算神經網絡模型中每一個濾波器參數的梯度值,所述濾波器參數的更新公式為: 其中W為模型參數、η是學習率、為損失函數; S222、在損失函數中加入BN層縮放因子γ的損失,公式為: 其中,x,y為神經網絡模型訓練數據,x是輸入數據,y為對應的真值標簽,f代表神經網絡模型,λ為稀疏懲罰幅度值,γ為縮放因子,Γ為神經網絡模型中所有BN層的縮放因子γ的集合,g·為稀疏懲罰項; S3、依據稀疏懲罰后的縮放因子γ對神經網絡模型部分卷積層濾波器參數置零; 所述S3中依據稀疏懲罰后的縮放因子γ對神經網絡模型部分濾波器參數置零的步驟為: S221、遍歷神經網絡模型,統計神經網絡模型每一個卷積層濾波器的數量M; S222、依據預設的剪枝率P,計算剪枝閾值T下標idx: S223、依據與卷積層相對應BN層的縮放因子γ,對卷積層內濾波器進行排序; S224、濾波器排序后,依據idx確定邊界濾波器,邊界濾波器對應的縮放因子γ的值為此卷積層剪枝閾值T; S225、對卷積層中縮放因子γ的值小于剪枝閾值T對應的濾波器參數置零; S4、依據卷積層濾波器參數置零情況對神經網絡模型進行剪枝,獲取輕量化神經網絡模型。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人安徽大學,其通訊地址為:230000 安徽省合肥市經濟技術開發區九龍路111號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。