南京信息工程大學朱一輝獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉南京信息工程大學申請的專利基于動量機制與多類型專家的低能耗大語言模型的數據處理方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120450054B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510898422.3,技術領域涉及:G06N5/04;該發明授權基于動量機制與多類型專家的低能耗大語言模型的數據處理方法和系統是由朱一輝;陳恒月;徐侗桐;谷德常;魏若璇;崔恒智設計研發完成,并于2025-07-01向國家知識產權局提交的專利申請。
本基于動量機制與多類型專家的低能耗大語言模型的數據處理方法和系統在說明書摘要公布了:本申請公開了基于動量機制與多類型專家的低能耗大語言模型的數據處理方法和系統,屬于大語言模型技術領域,包括獲取混合專家模型,混合專家模型包括門控網絡、組合網絡和多個專家網絡;基于懶加載機制獲取目標數據;通過門控網絡獲取目標數據對應各個專家網絡的適應度得分,獲取滿足排序要求的專家網絡為目標網絡;獲取目標數據在目標網絡中的輸出數據,并通過組合網絡加權求和多個輸出數據。本申請在混合專家模型中設置多個專家網絡,通過對目標數據的適應度得分進行適應度排名,選取滿足排名要求的專家網絡的輸出進行加權求和,以獲得最終輸出,降低浮點運算和計算內存開銷,提高計算效率,減少內存資源浪費。
本發明授權基于動量機制與多類型專家的低能耗大語言模型的數據處理方法和系統在權利要求書中公布了:1.基于動量機制與多類型專家的低能耗大語言模型的數據處理方法,其特征在于,包括: 獲取混合專家模型,所述混合專家模型包括門控網絡、組合網絡和多個專家網絡;多個所述專家網絡包括路由專家,所述路由專家包括多個子專家網絡; 基于懶加載機制獲取目標數據,并輸入所述混合專家模型; 通過所述門控網絡獲取所述目標數據對應各個所述專家網絡的適應度得分,并基于所述適應度得分對多個所述專家網絡進行排序,獲取滿足排序要求的所述專家網絡為目標網絡; 獲取所述門控網絡在所述專家網絡中選擇所述目標網絡的歷史數據; 基于所述歷史數據優化所述門控網絡對所述目標網絡的當前選擇結果,其表征公式包括: Rcurrent=λ·Rprevious+1-λ·Rnew; 其中,Rcurrent為所述目標網絡的當前選擇結果,用于表征當前選擇的所述專家網絡;Rprevious為所述歷史數據,用于表征上一輪選擇的所述專家網絡;λ為所述歷史數據的衰減因子,0≤λ≤1;Rnew為當前選擇的所述專家網絡; 其中,所述門控網絡采用動量機制動態調整所述路由專家,用于結合學習率衰減優化多個子專家網絡的選擇過程,更新所述動量機制的表征公式包括: Pt=-fxt+μ·pt-1; 其中,pt為t時刻的動量,用于表征當前時刻的動量;fxt為t時刻的門控分數,用于表征當前時刻的門控分數;μ為動量系數;pt-1為t-1時刻的動量,用于表征上一時刻的動量;xt為t時刻的門控輸出,用于表征當前時刻的門控輸出,xt=xt-1+γ·pt-1,xt-1為t-1時刻的門控輸出,用于表征上一時刻的門控輸出,γ為學習率衰減的系數; 獲取所述目標數據在所述目標網絡中的輸出數據,并通過所述組合網絡加權求和多個所述輸出數據,獲取最終輸出結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人南京信息工程大學,其通訊地址為:210044 江蘇省南京市浦口區寧六路219號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。