買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉之江實驗室申請的專利面向大模型訓練集群的網絡流量建模方法與仿真系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120128489B 。

龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510578519.6，技術領域涉及：H04L41/14；該發明授權面向大模型訓練集群的網絡流量建模方法與仿真系統是由何源浩;李晟;駱漢光;肖戈揚;鄒濤;朱俊;張汝云;白冰;楊少波;盧東輝;葛俊成;梁元設計研發完成，并于2025-05-07向國家知識產權局提交的專利申請。

本面向大模型訓練集群的網絡流量建模方法與仿真系統在說明書摘要公布了：本發明公開了一種面向大模型訓練集群的網絡流量建模方法與仿真系統，該方法通過獲取集群配置和模型訓練信息，首先構建大模型分布式訓練的整體流程，再通過計算與通信過程建模，量化分布式訓練時模型計算過程的計算資源需求和參數或梯度同步等過程的數據傳輸需求，并分析不同并行配置下進行參數或梯度同步和中間激活值傳輸的通信流量特征。在此基礎上，構建了一個能夠模擬不同流量調度策略在集群網絡環境中效果的仿真系統，為優化大模型訓練中的網絡調度策略提供實踐和驗證支持。通過該方法與系統，能夠量化分析分布式訓練過程中的計算與通信效率，并評估和對比不同流量調度策略的優化效果。

本發明授權面向大模型訓練集群的網絡流量建模方法與仿真系統在權利要求書中公布了：1.一種面向大模型訓練集群的網絡流量建模方法，其特征在于，包括以下步驟： （1）獲取與模型訓練相關的基礎參數信息，包括輸入樣本數量、模型結構；獲取擬采用設備的性能參數信息； （2）流程建模：對目標分布式訓練策略進行流程建模，構建大模型在數據并行、張量并行、流水線并行的混合并行環境下的訓練流程； （3）計算建模：對大模型分布式訓練中的各個計算節點建模，分析訓練過程中各層的計算過程，包括輸入層、Transformer解碼器和輸出層；同時，基于輸入樣本數、模型參數規模及訓練流程，量化每個計算節點的計算負載與計算時間； （4）通信流量建模：根據混合并行配置分析每個訓練流程的數據傳輸需求，量化各通信節點間的數據交換量；結合不同的并行策略與通信模式，量化各通信節點的通信量與通信時間； （4.1）從數據并行的角度進行量化：將模型參數和優化器狀態復制到多個GPU上，然后將訓練數據平均分配到這些GPU上；數據并行產生的通信主要在不同模型副本間的梯度與參數同步過程，采用AllReduce的通信模式計算GPU卡間單次通信量； （4.2）從張量并行的角度進行量化：將Transformerblock層的參數矩陣切分并在多個GPU上并行計算，張量并行引發的通信主要涉及同步不同模型部分的參數或梯度矩陣；采用AllReduce模式進行數據交換，計算GPU卡間單次通信量； （4.3）從流水線并行的角度進行量化：將模型不同層的參數分配到不同的GPU上，流水線并行產生的通信主要在模型不同階段間的上下文交互過程，采用點到點的通信模式計算GPU卡間單次通信量； （4.4）根據上述通信量，結合相關設備的帶寬信息，估算模型訓練的單次通信耗時。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人之江實驗室，其通訊地址為：311121 浙江省杭州市余杭區中泰街道科創大道之江實驗室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。