買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉本溪鋼鐵(集團)信息自動化有限責任公司申請的專利基于動態(tài)資源調(diào)度的大語言模型分布式訓練方法及系統(tǒng)獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN120278283B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510764976.4，技術領域涉及：G06N5/04；該發(fā)明授權基于動態(tài)資源調(diào)度的大語言模型分布式訓練方法及系統(tǒng)是由郝迅;高洋;張世躔;秦斌;艾啟東;趙彩鳳;賈峰;王忠博;崔天一;張帆;于雷設計研發(fā)完成，并于2025-06-10向國家知識產(chǎn)權局提交的專利申請。

本基于動態(tài)資源調(diào)度的大語言模型分布式訓練方法及系統(tǒng)在說明書摘要公布了：本發(fā)明提供一種基于動態(tài)資源調(diào)度的大語言模型分布式訓練方法及系統(tǒng)，通過以周期性時間間隔采集各計算節(jié)點的資源狀態(tài)數(shù)據(jù)，從而在當前訓練批次，將大語言模型的訓練任務劃分為多類子任務，并基于各計算節(jié)點的資源狀態(tài)數(shù)據(jù)以及各類子任務的任務描述數(shù)據(jù)，利用強化學習策略將各類子任務以最優(yōu)比例分配至最優(yōu)的計算節(jié)點；此外，采用梯度壓縮算法對計算節(jié)點上產(chǎn)生的梯度數(shù)據(jù)進行壓縮，并結合所述計算節(jié)點的當前網(wǎng)絡帶寬利用率動態(tài)調(diào)整所述梯度數(shù)據(jù)的壓縮率；參數(shù)服務器進而基于參數(shù)同步間隔對不同計算節(jié)點壓縮后的梯度數(shù)據(jù)進行加權融合，基于融合結果更新全局模型參數(shù)，并將全局模型參數(shù)廣播至各個計算節(jié)點，能夠顯著提升大語言模型的訓練效率。

本發(fā)明授權基于動態(tài)資源調(diào)度的大語言模型分布式訓練方法及系統(tǒng)在權利要求書中公布了：1.一種基于動態(tài)資源調(diào)度的大語言模型分布式訓練方法，其特征在于，包括： 針對包含異構計算節(jié)點的分布式訓練集群，以周期性時間間隔采集各計算節(jié)點的資源狀態(tài)數(shù)據(jù)；所述資源狀態(tài)數(shù)據(jù)包括GPU算力利用率、顯存占用率、網(wǎng)絡帶寬剩余量及梯度數(shù)據(jù)分布特征； 在當前訓練批次，將大語言模型的訓練任務劃分為多類子任務，并基于各計算節(jié)點的資源狀態(tài)數(shù)據(jù)以及各類子任務的任務描述數(shù)據(jù)，利用強化學習策略將各類子任務以最優(yōu)比例分配至最優(yōu)的計算節(jié)點；所述任務描述數(shù)據(jù)包括計算強度、顯存需求、通信依賴、執(zhí)行延遲和任務類型標簽； 采用梯度壓縮算法對計算節(jié)點上產(chǎn)生的梯度數(shù)據(jù)進行壓縮，并結合所述計算節(jié)點的當前網(wǎng)絡帶寬利用率動態(tài)調(diào)整所述梯度數(shù)據(jù)的壓縮率； 參數(shù)服務器基于參數(shù)同步間隔對不同計算節(jié)點壓縮后的梯度數(shù)據(jù)進行加權融合，基于融合結果更新全局模型參數(shù)，并將全局模型參數(shù)廣播至各個計算節(jié)點； 所述方法還包括： 以預設時間間隔保存全量檢查點的快照和增量檢查點的快照，所述增量檢查點僅存儲與前一次快照之間的梯度差異數(shù)據(jù)；所述梯度差異數(shù)據(jù)是通過差異編碼算法壓縮得到的； 通過心跳檢測機制監(jiān)控計算節(jié)點的存活狀態(tài)，基于連續(xù)未響應次數(shù)確定所述計算節(jié)點是否為故障節(jié)點； 針對故障節(jié)點，基于所述故障節(jié)點對應的最新全量檢查點的快照和最新增量檢查點的快照恢復模型參數(shù)，將所述故障節(jié)點的未完成任務加入任務遷移優(yōu)先級隊列，以基于未完成任務的優(yōu)先級將未完成任務遷移至備用節(jié)點，并通過一致性協(xié)議校驗模型參數(shù)的完整性。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人本溪鋼鐵(集團)信息自動化有限責任公司，其通訊地址為：117021 遼寧省本溪市平山區(qū)廣裕路130號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。