買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計(jì)算中心(國家超級計(jì)算濟(jì)南中心)申請的專利一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120429090B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510912273.1，技術(shù)領(lǐng)域涉及：G06F9/48；該發(fā)明授權(quán)一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法是由趙志剛;李錦濤;李傳濤;王春曉;張廣東;周智偉;王雨欣;徐艷;劉福來;李安幫設(shè)計(jì)研發(fā)完成，并于2025-07-03向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法在說明書摘要公布了：本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其是提供了一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法。該方法包括構(gòu)建異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)；根據(jù)構(gòu)建的異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)，優(yōu)化流水線上微批次的調(diào)度策略；基于優(yōu)化后的調(diào)度策略，設(shè)計(jì)異構(gòu)設(shè)備間的通信模式，該方法充分利用了異構(gòu)硬件特性，提高了訓(xùn)練效率以及優(yōu)化了通信策略。

本發(fā)明授權(quán)一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法在權(quán)利要求書中公布了：1.一種適用于異構(gòu)設(shè)備的流水線并行訓(xùn)練方法，其特征在于，所述方法包括： 步驟1、構(gòu)建異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)； 步驟2、根據(jù)構(gòu)建的異構(gòu)設(shè)備聯(lián)合訓(xùn)練架構(gòu)，優(yōu)化流水線上微批次的調(diào)度策略； 步驟3、基于優(yōu)化后的調(diào)度策略，設(shè)計(jì)異構(gòu)設(shè)備間的通信模式； 所述步驟1包括： 物理視圖層面：采用數(shù)據(jù)并行和流水線并行的混合并行策略；基于數(shù)據(jù)并行，將微批次mini-batch數(shù)據(jù)集根據(jù)異構(gòu)設(shè)備的性能差異分割為多個(gè)數(shù)據(jù)子集，并分配給不同的設(shè)備進(jìn)行并行計(jì)算，每個(gè)設(shè)備根據(jù)計(jì)算性能處理分配到的數(shù)據(jù)子集；基于流水線并行，通過將模型劃分為多個(gè)階段Stage，每個(gè)階段的計(jì)算任務(wù)相同，根據(jù)設(shè)備的性能差異由不同數(shù)量的設(shè)備組合共同執(zhí)行一個(gè)階段；在前向傳播過程中，數(shù)據(jù)依次流經(jīng)設(shè)備，每個(gè)階段內(nèi)設(shè)備根據(jù)自身性能處理相應(yīng)的計(jì)算任務(wù)；在不同的階段之間，不同類型的設(shè)備之間的數(shù)據(jù)傳輸構(gòu)成了異構(gòu)設(shè)備通信組；在反向傳播時(shí)，梯度信息則按相反方向在異構(gòu)設(shè)備或同構(gòu)設(shè)備間傳遞； 邏輯視圖層面：針對異構(gòu)設(shè)備間性能的差異，采用基于異構(gòu)的流水線并行GPipe負(fù)載均衡的策略；在異構(gòu)流水線并行的設(shè)計(jì)中，對于顯存小的設(shè)備或計(jì)算能力弱的設(shè)備，將其多臺設(shè)備組合成為計(jì)算組，共同完成一個(gè)階段的計(jì)算任務(wù)，在每個(gè)階段內(nèi)多臺設(shè)備是同構(gòu)的，跨階段則會存在異構(gòu)組合；其中，根據(jù)多臺設(shè)備之間的計(jì)算性能差異，跨階段的異構(gòu)組合將輸入數(shù)據(jù)劃分成多個(gè)數(shù)據(jù)子集，并分配給不同設(shè)備進(jìn)行并行計(jì)算； 所述步驟2包括： 采用異構(gòu)設(shè)備的前向反向并行策略Het-1F1B，首先，通過優(yōu)化前的調(diào)度微批次反向傳播，釋放微批次前向傳播產(chǎn)生的激活的內(nèi)存，其在相應(yīng)的反向傳播之后被釋放，從而被下一個(gè)注入的微批次重用，擴(kuò)大訓(xùn)練規(guī)模；其次，隨著模型參數(shù)規(guī)模的逐步變大，A100和T4的顯存從原始的3:1，逐步將達(dá)到5:1，Het-1F1B將A100作為首節(jié)點(diǎn)，以緩解T4設(shè)備的壓力； 針對Het-1F1B使用同一個(gè)通信流接收又發(fā)送所導(dǎo)致的死鎖問題，根據(jù)前向及反向傳播創(chuàng)建專用的通信器Communicator，實(shí)現(xiàn)近似異步的效果；采用同步的方法更新模型的權(quán)重，通過周期性刷新流水線，以確保在訓(xùn)練迭代中的所有階段和所有微批次中使用相同版本的權(quán)重。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人齊魯工業(yè)大學(xué)(山東省科學(xué)院);山東省計(jì)算中心(國家超級計(jì)算濟(jì)南中心)，其通訊地址為：250353 山東省濟(jì)南市長清區(qū)西部新城大學(xué)科技園；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。