深圳市大數據研究院蔡智捷獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉深圳市大數據研究院申請的專利模型訓練方法、文本分類方法、裝置、電子設備及介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119848556B 。
龍圖騰網通過國家知識產權局官網在2025-09-16發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510350975.5,技術領域涉及:G06F18/214;該發明授權模型訓練方法、文本分類方法、裝置、電子設備及介質是由蔡智捷;陳浩瀧;朱光旭;張縱輝;史清江設計研發完成,并于2025-03-24向國家知識產權局提交的專利申請。
本模型訓練方法、文本分類方法、裝置、電子設備及介質在說明書摘要公布了:本申請實施例提供了一種模型訓練方法、文本分類方法、裝置、電子設備及介質,屬于人工智能技術領域。該方法包括:在當前迭代輪次,將隨機種子和投影參數分別加入種子隊列和投影隊列,依次從種子隊列中獲取一個目標隨機種子,根據目標隨機種子生成目標高斯偽隨機向量,根據目標隨機種子獲取投影隊列中的投影參數,得到目標投影參數,并將目標高斯偽隨機向量和目標投影參數相乘,確定目標零階梯度估計,根據預設學習率、預設動量參數、每個目標隨機種子在種子隊列中的位置標識和對應的目標零階梯度估計對預設大語言模型的模型參數進行更新,直至當前迭代輪次達到預設迭代次數閾值,得到目標大語言模型,能夠減少模型訓練所需的內存空間。
本發明授權模型訓練方法、文本分類方法、裝置、電子設備及介質在權利要求書中公布了:1.一種模型訓練方法,其特征在于,所述方法包括: 初始化種子隊列和投影隊列; 在當前迭代輪次,獲取隨機種子、自然語言文本以及所述自然語言文本的文本類別標簽; 根據所述隨機種子、所述自然語言文本和所述文本類別標簽,確定預設大語言模型的投影參數; 將所述隨機種子加入所述種子隊列,將所述投影參數加入所述投影隊列; 依次從所述種子隊列中獲取一個目標隨機種子,根據所述目標隨機種子生成目標高斯偽隨機向量,根據所述目標隨機種子獲取所述投影隊列中的投影參數,得到目標投影參數,并將所述目標高斯偽隨機向量和所述目標投影參數相乘,確定目標零階梯度估計; 針對每個迭代輪次,根據預設學習率、預設動量參數、每個所述目標隨機種子在所述種子隊列中的位置標識和對應的所述目標零階梯度估計對所述預設大語言模型的模型參數進行更新,直至當前迭代輪次達到預設迭代次數閾值,得到目標大語言模型;其中,所述目標大語言模型用于對輸入的目標文本進行文本分類; 所述根據預設學習率、預設動量參數、每個所述目標隨機種子在所述種子隊列中的位置標識和對應的所述目標零階梯度估計對所述預設大語言模型的模型參數進行更新,直至當前迭代輪次達到預設迭代次數閾值,得到目標大語言模型,包括: 確定動量決策參數; 若所述動量決策參數指示使用動量變量對所述模型參數進行參數更新,則根據所述預設學習率、所述隨機種子和所述投影參數對所述預設大語言模型的模型參數進行初步更新; 根據所述預設學習率、所述預設動量參數、每個所述目標隨機種子在所述種子隊列中的位置標識和對應的所述目標零階梯度估計對初步更新后的所述模型參數進行再次更新,直至當前迭代輪次達到所述預設迭代次數閾值,得到所述目標大語言模型; 所述根據所述預設學習率、所述預設動量參數、每個所述目標隨機種子在所述種子隊列中的位置標識和對應的所述目標零階梯度估計對初步更新后的所述模型參數進行再次更新,包括: 根據所述目標隨機種子在所述種子隊列中的位置標識確定所述預設動量參數的指數,對所述位置標識和所述預設動量參數進行指數計算,得到初始更新參數; 將所述預設學習率、所述初始更新參數和所述目標零階梯度估計相乘,得到參考更新參數; 根據所述參考更新參數對初步更新后的所述模型參數進行再次更新。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人深圳市大數據研究院,其通訊地址為:518172 廣東省深圳市龍崗區龍城街道龍翔大道2001號道遠樓225室;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。