阿里巴巴(中國)有限公司高大偉獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉阿里巴巴(中國)有限公司申請的專利模型剪枝方法、裝置、設備和存儲介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114943336B 。
龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210471355.3,技術領域涉及:G06N3/082;該發明授權模型剪枝方法、裝置、設備和存儲介質是由高大偉;謝悅湘;周子慕;王楨;李雅亮;丁博麟設計研發完成,并于2022-04-28向國家知識產權局提交的專利申請。
本模型剪枝方法、裝置、設備和存儲介質在說明書摘要公布了:本申請提供一種模型剪枝方法、裝置、設備和存儲介質,該方法包括:獲取模型的隨機初始化參數和多個訓練任務;采用多個訓練任務各自對應的訓練樣本對模型進行多輪訓練,得到兩個不同輪次訓練后模型分別對應的第一模型參數和第二模型參數。確定第一模型參數中目標層的第一參數矩陣相對應的第一屏蔽矩陣,第二模型參數中目標層的第二參數矩陣相對應的第二屏蔽矩陣;若第一屏蔽矩陣與第二屏蔽矩陣的相似度大于設定閾值,則根據第二模型參數中各層的參數矩陣分別對應的屏蔽矩陣對隨機初始化參數進行剪枝處理得到第三模型參數。該方案降低了模型訓練的計算開銷。
本發明授權模型剪枝方法、裝置、設備和存儲介質在權利要求書中公布了:1.一種模型剪枝方法,其特征在于,應用于用戶終端,包括: 獲取模型的隨機初始化參數以及用于對所述模型進行訓練的多個訓練任務,所述多個訓練任務包括多個分類任務,所述分類任務包括如下至少一種:圖像分類任務、語音分類任務; 采用所述多個訓練任務各自對應的訓練樣本,對所述模型進行多輪訓練,以得到兩個不同輪次訓練后所述模型分別對應的第一模型參數和第二模型參數,所述第一模型參數和所述第二模型參數中均包括所述模型中各層的參數矩陣; 確定與所述第一模型參數中目標層的第一參數矩陣相對應的第一屏蔽矩陣,以及與所述第二模型參數中所述目標層的第二參數矩陣相對應的第二屏蔽矩陣; 若所述第一屏蔽矩陣與所述第二屏蔽矩陣的相似度大于設定閾值,則根據所述第二模型參數中各層的參數矩陣分別對應的屏蔽矩陣,對所述隨機初始化參數進行剪枝處理,得到第三模型參數; 其中,所述確定與所述第一模型參數中目標層的第一參數矩陣相對應的第一屏蔽矩陣,以及與所述第二模型參數中所述目標層的第二參數矩陣相對應的第二屏蔽矩陣,包括: 確定所述第一模型參數中目標層的第一參數矩陣中取值小于設定數值的參數值; 根據所述第一參數矩陣中取值小于設定數值的參數值在所述第一參數矩陣中對應的位置,生成所述第一屏蔽矩陣; 確定所述第二模型參數中所述目標層的第二參數矩陣中取值小于設定數值的參數值; 根據所述第二參數矩陣中取值小于所述設定數值的參數值在所述第二參數矩陣中對應的位置,生成所述第二屏蔽矩陣。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人阿里巴巴(中國)有限公司,其通訊地址為:310023 浙江省杭州市余杭區五常街道文一西路969號3幢5層554室;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。