買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉南京大學(xué)申請的專利一種面向人工智能大模型高效訓(xùn)練的并行策略搜索方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN116680301B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202310781759.7，技術(shù)領(lǐng)域涉及：G06F16/2453；該發(fā)明授權(quán)一種面向人工智能大模型高效訓(xùn)練的并行策略搜索方法是由李武軍;林昊;吳軻設(shè)計研發(fā)完成，并于2023-06-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種面向人工智能大模型高效訓(xùn)練的并行策略搜索方法在說明書摘要公布了：本發(fā)明公開了一種面向人工智能大模型高效訓(xùn)練的并行策略搜索方法，步驟如下：輸入大模型；獲取系統(tǒng)執(zhí)行性能信息和大模型的執(zhí)行性能信息；利用代價模型估計大模型在當(dāng)前系統(tǒng)上的執(zhí)行時間開銷和存儲開銷；以流水線并行訓(xùn)練的每次迭代所花費的時間為優(yōu)化目標(biāo)，建立用于自動搜索大模型的并行訓(xùn)練策略的混合整數(shù)二次規(guī)劃數(shù)學(xué)模型并求解；輸出最優(yōu)的大模型的并行訓(xùn)練策略。本發(fā)明支持流水線并行、數(shù)據(jù)并行、張量并行和優(yōu)化器并行，策略空間大，搜索時間短，可應(yīng)用于大模型的單機多卡并行訓(xùn)練和多機集群的分布式訓(xùn)練，提升大模型的訓(xùn)練效率。

本發(fā)明授權(quán)一種面向人工智能大模型高效訓(xùn)練的并行策略搜索方法在權(quán)利要求書中公布了：1.一種面向人工智能大模型高效訓(xùn)練的并行策略搜索方法，其特征在于，包括以下步驟： 步驟S1、輸入人工智能大模型； 步驟S2、獲取系統(tǒng)執(zhí)行性能信息和人工智能大模型的執(zhí)行性能信息； 步驟S3、利用代價模型估計人工智能大模型在當(dāng)前系統(tǒng)上的執(zhí)行時間開銷和存儲開銷； 步驟S4、以流水線并行訓(xùn)練的每次迭代所花費的時間為優(yōu)化目標(biāo)，建立用于自動搜索大模型的并行訓(xùn)練策略的混合整數(shù)二次規(guī)劃數(shù)學(xué)模型并求解； 步驟S5、輸出最優(yōu)的人工智能大模型的并行訓(xùn)練策略； 所述步驟S2具體為： 設(shè)定All-Reduce的通信量，統(tǒng)計All-Reduce的通信時間，從而獲取系統(tǒng)的All-Reduce通信效率； 設(shè)定P2P的通信量，統(tǒng)計P2P的通信時間，從而獲取系統(tǒng)的P2P通信效率； 設(shè)定All-Reduce的通信量，分別統(tǒng)計單獨執(zhí)行All-Reduce的All-Reduce通信時間，以及同時執(zhí)行All-Reduce和矩陣乘法計算時的All-Reduce通信時間，從而獲取系統(tǒng)的計算-通信重疊因子； 統(tǒng)計大模型每一層的前向執(zhí)行時間； 統(tǒng)計除模型和優(yōu)化器占用的顯存以外，大模型每一層的激活顯存和加載大模型所需要的額外顯存； 步驟S3中所述的執(zhí)行時間開銷具體包括以下步驟： 利用代價模型估計大模型的層的所有候選數(shù)據(jù)并行、張量并行和優(yōu)化器并行策略的計算及通信時間之和； 利用代價模型估計大模型的邊所對應(yīng)的層和層的所有候選數(shù)據(jù)并行、張量并行和優(yōu)化器并行策略對之間的同一流水線階段的通信時間； 利用代價模型估計大模型的邊所對應(yīng)的層和層的所有候選數(shù)據(jù)并行、張量并行和優(yōu)化器并行策略對之間的跨流水線階段的P2P通信時間； 所述步驟S4具體為： 步驟S4.1、枚舉所有合法的流水線階段數(shù)量和合法的微批量數(shù)量，選取最小的每次迭代所花費時間，及其對應(yīng)的流水線并行策略、數(shù)據(jù)并行策略、張量并行策略和優(yōu)化器并行策略的一種或多種； 步驟S4.2、基于一個非流水線并行策略，建立并求解以數(shù)據(jù)并行、張量并行和優(yōu)化器并行每次迭代所花費時間為優(yōu)化目標(biāo)的混合整數(shù)二次規(guī)劃數(shù)學(xué)模型，搜索的內(nèi)容為數(shù)據(jù)并行策略、張量并行策略和優(yōu)化器并行策略的一種或多種； 步驟S4.3、基于一個給定的流水線并行策略，建立并求解以流水線并行、數(shù)據(jù)并行、張量并行和優(yōu)化器并行訓(xùn)練的每次迭代所花費時間為優(yōu)化目標(biāo)的混合整數(shù)二次規(guī)劃數(shù)學(xué)模型，搜索的內(nèi)容為流水線并行策略、數(shù)據(jù)并行策略、張量并行策略和優(yōu)化器并行策略的一種或多種。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人南京大學(xué)，其通訊地址為：210023 江蘇省南京市棲霞區(qū)仙林大道163號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。