買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉山東大學申請的專利一種面向異構GPU集群的深度神經網絡模型并行推理方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120297426B 。

龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510786813.6，技術領域涉及：G06N5/04；該發明授權一種面向異構GPU集群的深度神經網絡模型并行推理方法是由李峰;謝夢瑋;胡鵬飛;吳思設計研發完成，并于2025-06-13向國家知識產權局提交的專利申請。

本一種面向異構GPU集群的深度神經網絡模型并行推理方法在說明書摘要公布了：本發明公開了一種面向異構GPU集群的深度神經網絡模型并行推理方法，涉及分布式機器學習領域，包括獲取當前信息，剩余可選擇的DNN模型、每個GPU服務器上已部署的DNN模型及未滿足DNN模型數量約束的GPU服務器；調度器選擇DNN模型部署在選定的GPU服務器上，并計算此時執行并行推理的吞吐量；直至找到吞吐量最大的DNN模型和GPU服務器組合，并更新相關信息；判斷該GPU上已部署的DNN模型是否滿足數量約束，并更新GPU集群信息，直到所有GPU滿足特定的DNN模型數量約束；重復上述步驟直至算法收斂。本發明充分利用有限的異構GPU資源，選擇相容性高的DNN模型進行部署執行并行推理，以最大化吞吐量。

本發明授權一種面向異構GPU集群的深度神經網絡模型并行推理方法在權利要求書中公布了：1.一種面向異構GPU集群的深度神經網絡模型并行推理方法，其特征在于，包括如下步驟： 步驟1，獲取當前信息，剩余可選擇的DNN模型、每個GPU服務器上已部署的DNN模型以及未滿足DNN模型數量約束的GPU服務器； 步驟2，調度器選擇DNN模型部署在選定的GPU服務器上，并計算當前選擇的DNN模型部署在選定的GPU上執行并行推理的吞吐量； 步驟3，重復步驟2，直至找到使得吞吐量最大的DNN模型和GPU服務器組合，將該DNN模型部署到該GPU上，并更新相關信息； 步驟4，判斷該GPU上已部署的DNN模型是否滿足數量約束，并更新GPU集群信息，直到所有GPU滿足特定的DNN模型數量約束； 步驟5，重復步驟1-4，直至算法收斂； 所述步驟1具體為：表示個異構GPU服務器，表示個異質DNN模型的集合，表示部署在GPU服務器上的個DNN模型的集合；調度器通過觀察，獲取剩余可選DNN模型的集合，每個GPU服務器上已部署的DNN模型的集合以及未滿足DNN模型數量約束的GPU服務器的集合； 所述步驟2具體為：將每個GPU服務器視作一個智能體，有一個局部的深度循環Q網絡，通過深度循環Q網絡，針對中剩余的每一個可選DNN模型計算對應的動作價值函數；DNN模型選擇決策采用-貪婪策略； 所述-貪婪策略具體為：調度器以概率利用對應的選擇動作，即將DNN模型部署在GPU服務器上執行并行推理最優；以概率1-，調度器則從中選擇一個可選DNN模型部署到從選擇一個GPU服務器上。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人山東大學，其通訊地址為：266200 山東省青島市即墨區濱海路72號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。