買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉鵬城實(shí)驗(yàn)室申請(qǐng)的專利一種面向云際環(huán)境的大模型分布式訓(xùn)練方法及相關(guān)設(shè)備獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116341652B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310133976.5，技術(shù)領(lǐng)域涉及：G06N3/098；該發(fā)明授權(quán)一種面向云際環(huán)境的大模型分布式訓(xùn)練方法及相關(guān)設(shè)備是由侯永帥;相洋;莫羨杰;楊卿;王暉;余躍設(shè)計(jì)研發(fā)完成，并于2023-02-08向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種面向云際環(huán)境的大模型分布式訓(xùn)練方法及相關(guān)設(shè)備在說(shuō)明書摘要公布了：本發(fā)明針對(duì)使用跨地域算力中心算力進(jìn)行深度模型訓(xùn)練的場(chǎng)景需求，設(shè)計(jì)了一種面向云際環(huán)境的深度模型訓(xùn)練方法，采用按照網(wǎng)絡(luò)層次拆分模型參數(shù)到不同算力中心、跨域算力節(jié)點(diǎn)間采用壓縮通信、算力中心內(nèi)和算力中心間采用混合并行等策略，實(shí)現(xiàn)利用跨域算力協(xié)同完成深度模型訓(xùn)練。本發(fā)明可以使大模型訓(xùn)練不再受單算力中心算力資源的限制，能夠高效利用跨域算力中心的算力，在低帶寬環(huán)境下利用跨域算力協(xié)同完成大規(guī)模模型的訓(xùn)練任務(wù)。

本發(fā)明授權(quán)一種面向云際環(huán)境的大模型分布式訓(xùn)練方法及相關(guān)設(shè)備在權(quán)利要求書中公布了：1.一種面向云際環(huán)境的大模型分布式訓(xùn)練方法，其特征在于，所述面向云際環(huán)境的大模型分布式訓(xùn)練方法包括： 將待訓(xùn)練的任務(wù)、數(shù)據(jù)和模型上傳到任務(wù)節(jié)點(diǎn)，設(shè)置所述任務(wù)需要的資源，根據(jù)所述任務(wù)需要的資源向平臺(tái)申請(qǐng)若干訓(xùn)練節(jié)點(diǎn)； 根據(jù)所述任務(wù)需要的資源和所述若干訓(xùn)練節(jié)點(diǎn)中的資源，按照所述模型的層次對(duì)所述任務(wù)進(jìn)行拆分得到子任務(wù)，將所述子任務(wù)對(duì)應(yīng)分配到所述若干訓(xùn)練節(jié)點(diǎn)中，并設(shè)置所述模型的訓(xùn)練過(guò)程； 根據(jù)所述訓(xùn)練過(guò)程，將所述數(shù)據(jù)拆分為若干個(gè)batch的數(shù)據(jù)，將每個(gè)batch的數(shù)據(jù)拆分為m個(gè)mini-batch，其中，m為所述batch的數(shù)據(jù)在各訓(xùn)練節(jié)點(diǎn)進(jìn)行流水線并行計(jì)算的分段個(gè)數(shù)，將每一個(gè)mini-batch發(fā)送到第一個(gè)訓(xùn)練節(jié)點(diǎn)，將每一個(gè)mini-batch對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽發(fā)送到最后一個(gè)訓(xùn)練節(jié)點(diǎn)； 對(duì)每一個(gè)mini-batch進(jìn)行前向計(jì)算，得到計(jì)算結(jié)果，根據(jù)所述計(jì)算結(jié)果和所述數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽進(jìn)行反向計(jì)算得到反向梯度，并將每一個(gè)mini-batch對(duì)應(yīng)的反向梯度進(jìn)行融合，得到目標(biāo)梯度，根據(jù)所述目標(biāo)梯度更新各個(gè)訓(xùn)練節(jié)點(diǎn)上的模型參數(shù)，直至每個(gè)batch的數(shù)據(jù)訓(xùn)練完成； 將評(píng)估數(shù)據(jù)拆分為若干個(gè)batch的數(shù)據(jù)，將每個(gè)batch的數(shù)據(jù)拆分為m個(gè)mini-batch，將每一個(gè)mini-batch輸入到更新模型參數(shù)后的訓(xùn)練節(jié)點(diǎn)進(jìn)行計(jì)算，得到最終計(jì)算結(jié)果，根據(jù)每一個(gè)mini-batch對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽對(duì)所述最終計(jì)算結(jié)果進(jìn)行評(píng)估，得到評(píng)估結(jié)果，直至每個(gè)batch的數(shù)據(jù)評(píng)估完成，根據(jù)所有的評(píng)估結(jié)果得到整體評(píng)估結(jié)果，若所述整體評(píng)估結(jié)果滿足模型訓(xùn)練的結(jié)束條件或者迭代輪數(shù)，則結(jié)束訓(xùn)練任務(wù)。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人鵬城實(shí)驗(yàn)室，其通訊地址為：518000 廣東省深圳市南山區(qū)興科一街2號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。