上海交通大學官惠澤獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉上海交通大學申請的專利計算機視覺神經網絡中替換激活函數的重訓練方法及系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114118357B 。
龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202111191968.3,技術領域涉及:G06V10/82;該發明授權計算機視覺神經網絡中替換激活函數的重訓練方法及系統是由官惠澤;梁曉峣;景乃鋒設計研發完成,并于2021-10-13向國家知識產權局提交的專利申請。
本計算機視覺神經網絡中替換激活函數的重訓練方法及系統在說明書摘要公布了:本發明提供了一種計算機視覺神經網絡中替換激活函數的重訓練方法及系統,涉及計算機視覺神經網絡技術領域,該方法包括:單階段的替換訓練方法范式或兩階段的替換訓練方法范式;所述單階段的替換訓練方法范式或所述兩階段的替換訓練方法范式包括:指定訓練方案參數后啟動訓練程序,再給出替換激活函數后的模型權重文件。本發明適用性良好,表現穩定,能夠快速且穩定地把精度重訓練至原模型精度接近的水準。
本發明授權計算機視覺神經網絡中替換激活函數的重訓練方法及系統在權利要求書中公布了:1.一種計算機視覺神經網絡中替換激活函數的重訓練方法,其特征在于,該訓練方法用于圖片分類、圖片目標檢測、圖片語義分割、3D目標檢測、3D語義分割、單目動態檢測、單目深度預測、圖片風格遷移中的至少一種,包括:單階段的替換訓練方法范式或兩階段的替換訓練方法范式; 所述單階段的替換訓練方法范式或所述兩階段的替換訓練方法范式包括:指定訓練方案參數后啟動訓練程序,再給出替換激活函數后的模型權重文件; 所述單階段的替換訓練方法范式:指定好訓練方案參數后啟動訓練程序,到程序結束后直接給出替換激活函數后的,接近于原模型精度的權重文件; 所述單階段的替換訓練方法范式具體包括: 步驟S1.1:確定優化器,優化器的選擇能夠直接根據原始模型所采用的優化器,或是通用的SGD優化器或AdamW優化器; 步驟S1.2:標定優化器超參數,在對模型替換激活函數前,以原始模型作為被訓練模型,探索一個穩定的學習率優化器超參數,使得模型在訓練迭代中能夠維持精度; 步驟S1.3:分離歸一化層可訓練參數與模型其它的可訓練參數; 步驟S1.4:為兩類權重設置兩種不同的學習率調度策略; 步驟S1.5:開始訓練,直至訓練達到預定的損失值\精度\Epoch; 所述兩階段的替換訓練方法范式:整個訓練過程分兩步完成,首先指定好第一次的訓練方案參數后啟動訓練程序,到程序結束后給出初步替換激活函數后的模型權重文件; 緊接著開始第二階段的訓練,載入上一步得到的權重文件,指定新的訓練方案參數,啟動訓練程序,到程序結束后給出最終的替換激活函數后的模型權重文件; 所述兩階段的替換訓練方法范式具體包括: 步驟S2.1:確定優化器,優化器的選擇能夠直接根據原始模型所采用的優化器,或是通用的SGD優化器或AdamW優化器; 步驟S2.2:標定優化器超參數,在對模型替換激活函數前,以原始模型作為被訓練模型,探索一個穩定的學習率優化器超參數,使得模型在訓練迭代中能夠維持精度; 步驟S2.3:分離歸一化層可訓練參數與模型其它的可訓練參數; 步驟S2.4:為兩類權重設置兩種不同的學習率調度策略; 步驟S2.5:開始第一階段的訓練,直至訓練達到預定的損失值\精度\Epoch,存出第一階段的權重; 步驟S2.6:重新初始化模型與優化器,載入步驟S2.5得到的權重,為優化器設置步驟S2.2得到的優化器產參數集合A,應用至全體可訓練參數上; 步驟S2.7:開始訓練,直至訓練達到預定的損失值\精度\Epoch。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人上海交通大學,其通訊地址為:200240 上海市閔行區東川路800號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。