中國科學院微電子研究所尚大山獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉中國科學院微電子研究所申請的專利一種實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法、裝置和電子設(shè)備獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予,授權(quán)公告號為:CN115511042B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-19發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202110686037.4,技術(shù)領(lǐng)域涉及:G06N3/096;該發(fā)明授權(quán)一種實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法、裝置和電子設(shè)備是由尚大山;張握瑜;李熠設(shè)計研發(fā)完成,并于2021-06-21向國家知識產(chǎn)權(quán)局提交的專利申請。
本一種實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法、裝置和電子設(shè)備在說明書摘要公布了:本發(fā)明公開一種實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法、裝置和電子設(shè)備,涉及機器學習及人工智能領(lǐng)域。實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法,包括:獲取神經(jīng)網(wǎng)絡(luò)模型的歷史浮點權(quán)重;對歷史浮點權(quán)重進行二值化處理,確定歷史二值權(quán)重;利用神經(jīng)網(wǎng)絡(luò)模型的歷史二值權(quán)重處理訓練樣本,獲得歷史二值權(quán)重的誤差;基于歷史浮點權(quán)重和歷史二值權(quán)重的誤差,確定當前實際浮點權(quán)重;根據(jù)當前實際浮點權(quán)重調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)模型的浮點權(quán)重。本發(fā)明提供的方法既可以實現(xiàn)對當前任務(wù)的準確識別,又可以記憶之前學習過的任務(wù),實現(xiàn)二值神經(jīng)網(wǎng)絡(luò)的連續(xù)學習,同時提高神經(jīng)網(wǎng)絡(luò)模型的魯棒性,降低數(shù)據(jù)處理過程中的功耗。
本發(fā)明授權(quán)一種實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法、裝置和電子設(shè)備在權(quán)利要求書中公布了:1.一種實現(xiàn)連續(xù)學習的神經(jīng)網(wǎng)絡(luò)模型的訓練方法,其特征在于,包括: 獲取神經(jīng)網(wǎng)絡(luò)模型的歷史浮點權(quán)重,其中,所述神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)集被切分為多個輸入任務(wù)的訓練數(shù)據(jù);其中,所述歷史浮點權(quán)重為所述神經(jīng)網(wǎng)絡(luò)模型對之前的輸入任務(wù)識別后所對應(yīng)的浮點權(quán)重或初始化的浮點權(quán)重;所述輸入數(shù)據(jù)集包括語音數(shù)據(jù)、圖像數(shù)據(jù)、文字數(shù)據(jù)中的任意一種; 對所述歷史浮點權(quán)重進行二值化處理,確定歷史二值權(quán)重; 所述二值化處理通過以下公式實現(xiàn): ,; 其中,x和Wh表示歷史浮點權(quán)重,y和Wb表示歷史二值權(quán)重,sign(·)為二值化符號函數(shù); 將訓練數(shù)據(jù)在具有歷史二值權(quán)重的神經(jīng)網(wǎng)絡(luò)上前向傳播,通過交叉熵函數(shù)計算誤差,得到所述歷史二值權(quán)重的誤差; 基于所述歷史浮點權(quán)重和所述歷史二值權(quán)重的誤差,確定當前實際浮點權(quán)重; 根據(jù)所述當前實際浮點權(quán)重調(diào)節(jié)所述神經(jīng)網(wǎng)絡(luò)模型的浮點權(quán)重。
如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人中國科學院微電子研究所,其通訊地址為:100029 北京市朝陽區(qū)北土城西路3號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準確性。
2、報告中的分析和結(jié)論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據(jù)或者憑證。