北京壁仞科技開發有限公司請求不公布姓名獲國家專利權
買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！
龍圖騰網獲悉北京壁仞科技開發有限公司申請的專利一種模型訓練的節點組網方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119676089B 。
龍圖騰網通過國家知識產權局官網在2025-09-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411910589.9，技術領域涉及：H04L41/0894；該發明授權一種模型訓練的節點組網方法及裝置是由請求不公布姓名設計研發完成，并于2024-12-23向國家知識產權局提交的專利申請。
本一種模型訓練的節點組網方法及裝置在說明書摘要公布了：本公開提供一種模型訓練的節點組網方法及裝置，其中所述方法包括：在對大模型進行混合并行訓練之前，確定大模型在每次訓練迭代中的數據并行通信開銷的占比以及流水線并行通信開銷的占比；若流水線并行通信開銷占比大于數據并行通信開銷占比，按照數據并行組的正序依次為每個數據并行組分配屬于同一葉層交換機的連續節點；若正序分配結束后數據并行組未滿足節點分配需求，則繼續按照數據并行組的逆序依次為每個包含剩余節點的數據并行組分配屬于同一葉層交換機的連續節點，直至分配節點完畢，可以減少跨葉層交換機的通信，且同一葉層交換機下的節點間通信具有更高的親和性和更低的延遲，進而提高整體訓練的性能。
本發明授權一種模型訓練的節點組網方法及裝置在權利要求書中公布了：1.一種模型訓練的節點組網方法，其特征在于，用于葉脊網絡架構的分布式集群中，所述分布式集群包括葉層交換機和脊層交換機；每個脊層交換機分別與全部的葉層交換機連接，且所述葉層交換機用于連接數據并行組的節點； 所述方法包括： 在對大模型進行混合并行訓練之前，確定所述大模型在每次訓練迭代中的數據并行通信開銷的占比以及流水線并行通信開銷的占比； 若流水線并行通信開銷占比大于數據并行通信開銷占比，根據每個數據并行組的所需節點數量以及葉層交換機的節點數量，為每個數據并行組進行多輪節點分配：在每一輪分配中，按照數據并行組的正序依次為每個數據并行組分配屬于同一葉層交換機的至少一個連續節點；若正序分配結束后所述數據并行組未滿足節點分配需求，則繼續在每一輪分配中，按照數據并行組的逆序依次為每個包含剩余節點的數據并行組分配屬于同一葉層交換機的至少一個連續節點，直至為每個數據并行組分配節點完畢。
如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京壁仞科技開發有限公司，其通訊地址為：100102 北京市朝陽區望京東園四區13號樓-4至33層101內10層201室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
以上內容由AI智能生成
免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
開放平臺
擔保交易
惠及多方
會員特惠
專屬平臺
適合多方
數據共享
功能齊全
皖公網安備 34010402703815號