山東海量信息技術研究院唐軼男獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉山東海量信息技術研究院申請的專利專家并行訓練耗時預測方法、裝置、設備、介質及產品獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120373423B 。
龍圖騰網通過國家知識產權局官網在2025-09-02發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510874226.2,技術領域涉及:G06N3/098;該發明授權專家并行訓練耗時預測方法、裝置、設備、介質及產品是由唐軼男;李仁剛;郭振華;趙雅倩;王麗;高開;曹芳設計研發完成,并于2025-06-27向國家知識產權局提交的專利申請。
本專家并行訓練耗時預測方法、裝置、設備、介質及產品在說明書摘要公布了:本發明公開了專家并行訓練耗時預測方法、裝置、設備、介質及產品,涉及人工智能技術領域,通過將混合專家模型訓練所采用的訓練樣本集進行多次采樣得到的訓練樣本分別輸入混合專家模型以監測混合專家模型的專家網絡的激活狀態參數,從而對專家并行訓練中專家網絡的激活情況進行準確預測;根據專家網絡的激活狀態參數和異構計算系統的計算節點的資源狀態信息,計算計算節點執行迭代訓練的耗時預測結果,并根據計算節點的耗時預測結果確定異構計算系統執行迭代訓練的耗時預測結果,實現對混合專家模型的專家并行訓練的耗時進行準確預測,解決相關技術中模型訓練耗時預測方案無法準確預測混合專家模型的專家并行訓練的耗時的問題。
本發明授權專家并行訓練耗時預測方法、裝置、設備、介質及產品在權利要求書中公布了:1.一種專家并行訓練耗時預測方法,其特征在于,包括: 確定異構計算系統的計算節點所部署的混合專家模型的專家網絡; 獲取所述混合專家模型的訓練樣本集,將自所述訓練樣本集中進行多次采樣得到的訓練樣本分別輸入所述混合專家模型,并監測所述專家網絡的激活狀態參數; 根據所述專家網絡的激活狀態參數和所述計算節點的資源狀態信息,計算得到所述計算節點執行迭代訓練的耗時預測結果; 根據所述計算節點的耗時預測結果確定所述異構計算系統執行迭代訓練的耗時預測結果; 其中,監測所述專家網絡的激活狀態參數,包括: 監測歷史迭代訓練中所述專家網絡的激活狀態; 根據多輪歷史迭代訓練所述專家網絡的激活狀態確定所述專家網絡在一次迭代訓練中的激活概率,以所述激活概率為所述專家網絡的激活狀態參數; 根據所述專家網絡的激活狀態參數和所述計算節點的資源狀態信息,計算得到所述計算節點執行迭代訓練的耗時預測結果,包括: 根據所述專家網絡的激活概率、所述計算節點的算力資源參數和所述計算節點的內存帶寬,計算得到所述計算節點的前向傳播計算耗時預測結果和所述計算節點的反向傳播計算耗時預測結果; 根據所述專家網絡的激活概率和所述計算節點的網絡資源參數,計算得到所述計算節點的前向傳播通信耗時預測結果和所述計算節點的反向傳播通信耗時預測結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人山東海量信息技術研究院,其通訊地址為:250000 山東省濟南市高新技術開發區國家信息通信國際創新園;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。