買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉中國科學院計算技術研究所申請的專利基于細粒度結構化稀疏的在線訓練方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114429206B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111666701.5，技術領域涉及：G06N3/0495；該發明授權基于細粒度結構化稀疏的在線訓練方法及系統是由張蕊;朱時兵;王偉卓;張曦珊設計研發完成，并于2021-12-31向國家知識產權局提交的專利申請。

本基于細粒度結構化稀疏的在線訓練方法及系統在說明書摘要公布了：本發明提出一種基于細粒度結構化稀疏的在線訓練方法和系統，包括：基于預設學習率和權重梯度，訓練稠密模型；對該稠密模型的權重進行細粒度結構化稀疏，得到稀疏掩碼，并基于該稀疏掩碼訓練稀疏模型，且在訓練該稀疏模型的過程中更新該稀疏掩碼和該稀疏模型的模型權重；固定該稀疏模型的網絡結構再次訓練該稀疏模型，且在再次訓練該稀疏模型過程中僅更新該稀疏模型的模型權重，保存完成經過再次訓練的稀疏模型的模型權重和稀疏掩碼作為在線訓練結果。稀疏模型比稠密模型的規模小，比稠密模型的通道數也小。在部署模型時采用稀疏模型，由于稀疏模型規模小，可以有效減少計算量，達到加速模型運行速度的技術效果。

本發明授權基于細粒度結構化稀疏的在線訓練方法及系統在權利要求書中公布了：1.一種基于細粒度結構化稀疏的在線訓練方法，其特征在于，包括： 步驟1、基于預設學習率和權重梯度，訓練稠密模型； 步驟2、對該稠密模型的權重進行細粒度結構化稀疏，得到稀疏掩碼，并基于該稀疏掩碼訓練稀疏模型，且在訓練該稀疏模型的過程中更新該稀疏掩碼和該稀疏模型的模型權重； 步驟3、固定該稀疏模型的網絡結構再次訓練該稀疏模型，且在再次訓練該稀疏模型過程中僅更新該稀疏模型的模型權重，保存完成經過再次訓練的稀疏模型的模型權重和稀疏掩碼作為在線訓練結果； 該步驟2包括： 步驟21、獲取該稠密模型的權重Wdense和學習率l； 步驟22、對于Wdense，使用多種預設模板分別計算每組尺寸為4x4的權重在每種模板下權重絕對值的累加和，其中該預設模板每行每列都滿足有兩個0和兩個1，1代表保留的位置，0代表不保留的位置；取所有預設模板中累加和最大的模板作為該組權重的稀疏掩碼m，并得到稀疏權重Wunpruned＝Wdense⊙m，其中⊙表示逐元素相乘，權重中被稀疏掉的部分記錄為Wpruned＝0； 步驟23、利用稀疏權重Wunpruned執行網絡的前向傳播，前向傳播公式為： xi+1＝xi*Wunpruned 式中xi為網絡中第i層的輸入； 步驟24、該網絡執行反向傳播，利用網絡中第i+1層傳播來的topdiff，記為計算第i層的bottomdiff，記為和權重的梯度公式為： 步驟25、根據權重的梯度和當前的稀疏掩碼更新稀疏權重Wunpruned和權重中被稀疏掉的部分Wpruned，公式為： 判斷此時是否為一個epoch的結束，若是，則執行步驟26，否則再次執行該步驟23； 步驟26、利用稀疏權重Wunpruned和權重中被稀疏掉的部分Wpruned對稀疏掩碼進行更新，首先將Wunpruned和Wpruned相加得到Wdense，然后使用所有預設模板，分別計算Wdense中每組權重在每種預設模板下權重絕對值的累加和，取所有預設模板中累加和最大的模板作為該組權重的稀疏掩碼，由此獲得更新后的稀疏掩碼m； 步驟27、利用稀疏掩碼m更新Wunpruned和Wpruned，公式為 Wunpruned＝Wdense⊙m Wpruned＝0 判斷此時是否達到設定迭代次數，若是，則執行步驟3，否則再次該步驟23； 該步驟3包括通過下式固定稀疏掩碼，更新稀疏模型權重： 其中步驟1中該稠密模型為用于圖像分類的卷積神經網絡；該步驟3包括基于在線訓練結果構建稀疏圖像分類網絡，以對待分類圖像進行分類。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國科學院計算技術研究所，其通訊地址為：100080 北京市海淀區中關村科學院南路6號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。