買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉上海階躍星辰智能科技有限公司申請的專利一種基于自回歸訓練的語言模型優化方法及相關設備獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120258047B 。

龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510741088.0，技術領域涉及：G06N3/045；該發明授權一種基于自回歸訓練的語言模型優化方法及相關設備是由汪自力設計研發完成，并于2025-06-05向國家知識產權局提交的專利申請。

本一種基于自回歸訓練的語言模型優化方法及相關設備在說明書摘要公布了：本申請提供一種基于自回歸訓練的語言模型優化方法及相關設備，方法包括：構建語言模型的自回歸訓練框架，基于輸入的歷史上下文預測后續詞的概率分布，其中每一代自回歸訓練中的概率分布用于生成下一代的合成數據；在每一代訓練中，按設定比例將真實數據與上一代模型生成的合成數據混合作為訓練數據，其中，真實數據的占比根據訓練代數增加而動態降低；利用混合數據訓練語言模型，更新模型參數，生成下一代訓練所需的合成數據；在每一代訓練后，度量當前模型生成的數據分布與真實數據分布的差異，并根據差異動態調整真實數據的占比；通過上述步驟持續優化語言模型的自回歸訓練過程。有效抑制了語言模型在多輪自回歸訓練過程中產生的分布漂移問題。

本發明授權一種基于自回歸訓練的語言模型優化方法及相關設備在權利要求書中公布了：1.一種基于自回歸訓練的語言模型優化方法，其特征在于，包括： 構建語言模型的自回歸訓練框架，基于輸入的歷史上下文預測后續詞的概率分布，其中，每一代自回歸訓練中的所述概率分布用于生成下一代的合成數據； 在每一代訓練中，按設定比例將真實數據與上一代模型生成的合成數據混合作為訓練數據，其中，所述訓練數據中真實數據的占比根據訓練代數增加而動態降低； 利用混合數據訓練語言模型，更新模型參數，生成下一代訓練所需的合成數據，其中，限制所述合成數據的數量相對于所述真實數據的數量不超過設定的合成數據比例控制條件； 在每一代訓練后，度量當前模型生成的數據分布與真實數據分布的差異，并根據所述差異動態調整所述真實數據的占比，包括： 基于當前代模型生成的數據分布與初始真實數據分布，計算兩者之間的L1范數作為分布漂移的度量值，所述L1范數為兩者在全部類別上的概率差值絕對值之和； 將所述度量值與預設的分布偏差閾值進行比較，所述分布偏差閾值為預設的用于判斷當前代模型是否偏離真實語義分布的最大可容忍范圍； 若所述度量值超過所述分布偏差閾值，則在下一代訓練數據中提高真實數據的占比，并相應減少合成數據的比例，以降低模型分布漂移風險； 若所述度量值未超過所述分布偏差閾值，則根據預設的遞減策略調整真實數據的占比，繼續下一代訓練； 控制當前代模型生成的數據分布與初始真實數據分布之間分布漂移程度的策略包括： 通過設定與真實數據規模相關的常數C，以及記錄當前自回歸訓練的訓練代數m，形成如下分布漂移上界約束： ； 其中，表示當前代生成分布與初始真實分布之間的L1范數偏差； 隨著訓練代數的增加，分布漂移的理論上限呈形式逐步收斂，確保在每一代訓練后，當前代模型生成的數據分布與初始真實數據分布之間的分布漂移的度量值呈遞減趨勢，從而在模型訓練過程中形成訓練代數與分布漂移控制之間的動態平衡關系，確保訓練過程中的分布漂移始終可控； 基于概率分布生成的合成數據、動態數據比例控制以及合成數據數量約束，持續優化語言模型的自回歸訓練過程。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人上海階躍星辰智能科技有限公司，其通訊地址為：200232 上海市徐匯區云錦路701號30層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。