湖大粵港澳大灣區創新研究院(廣州增城)唐卓獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉湖大粵港澳大灣區創新研究院(廣州增城)申請的專利一種基于算力網絡的模型分布式訓練方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119167093B 。
龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411376651.0,技術領域涉及:G06F18/214;該發明授權一種基于算力網絡的模型分布式訓練方法和系統是由唐卓;武博文;張嘉鵬;李軍義;尹旦;陳長建;肖雄設計研發完成,并于2024-09-30向國家知識產權局提交的專利申請。
本一種基于算力網絡的模型分布式訓練方法和系統在說明書摘要公布了:本發明公開了一種基于算力網絡的模型分布式訓練方法,包括:獲取用戶上傳的模型信息及模型文件,獲取數據集的信息,判斷得到的模型信息中的模型名稱是否存在于預先建立的字典中,如果不是則創建主進程,利用該主進程、并根據分布式調用服務請求中的模型名稱與數據集名稱分別從預先建立的模型倉庫和數據集倉庫中加載對應的模型與數據集;使用加載的數據集對模型進行分布式訓練,以得到分布式訓練后的模型,通過主進程將分布式訓練后的模型保存到分布式訓練結果倉庫中。本發明能夠解決現有分布式系統用戶自己搭建的模型傳播范圍小的技術問題,以及對不匹配的模型與數據集進行分布式訓練,造成計算資源浪費的技術問題。
本發明授權一種基于算力網絡的模型分布式訓練方法和系統在權利要求書中公布了:1.一種基于算力網絡的模型分布式訓練方法,其特征在于,包括以下步驟: 1獲取用戶上傳的模型信息及模型文件; 2獲取數據集的信息; 3判斷步驟1得到的模型信息中的模型名稱是否存在于預先建立的字典中,如果是,則從該字典獲取該模型名稱所對應的數據集名稱列表,并轉入步驟4,否則轉入步驟5; 4判斷步驟2得到的數據集的信息中的數據集名稱是否存在于數據集名稱列表中,如果是,則根據該數據集名稱列表對應的模型名稱和該數據集名稱生成分布式訓練服務請求,然后轉入步驟5,否則轉入步驟8; 5創建主進程,利用該主進程、并根據分布式調用服務請求中的模型名稱與數據集名稱分別從預先建立的模型倉庫和數據集倉庫中加載對應的模型與數據集;步驟5具體為,首先對分布式調用服務請求進行解析,以獲取其中的模型名稱和數據集名稱,然后,利用python庫中的importlib庫加載存儲在模型倉庫中該模型名稱對應的模型文件;最后,利用torchvision庫中的datasets模塊加載存儲在數據集倉庫中的該數據集名稱所對應的數據集,若該數據集未存儲在數據集倉庫中,則利用datasets模塊從開源深度學習框架pytorch提供的數據集源中將該數據集名稱對應的數據集下載到數據集倉庫中,再從數據集倉庫中加載該數據集; 6使用步驟5加載的數據集對步驟5加載的模型進行分布式訓練,以得到分布式訓練后的模型;步驟6包括以下子步驟: 6-1通過主進程創建n個工作進程,對創建的n個工作進程進行隨機編號,對步驟5加載的數據集進行劃分處理,以得到多個子數據集,并對步驟5加載的模型先后進行全局保存和本地保存處理,以得到一個對應于主線程的全局模型、以及對應于n個工作線程的n個本地模型,其中n的取值范圍是1到8; 6-2將步驟6-1得到的所有子數據集、1個全局模型和n個本地模型分配到對應的工作進程; 6-3每個工作進程根據其對應的子數據集和本地模型對步驟5加載的模型進行訓練,以獲取該工作進程當前周期的本地參數; 6-4每個工作進程等待其余所有工作進程都獲取到了其當前周期的本地參數之后,將其當前周期的本地參數發送給全局模型; 6-5全局模型在接收到來自所有工作進程當前周期的本地參數后,對所有本地參數進行聚合,并利用聚合結果更新該全局模型的權重,以得到所有工作進程更新后的全局參數; 6-6每個工作進程在需要對本地模型進行訓練前,利用步驟6-5得到的所有工作進程更新后的全局參數更新該工作進程的本地參數,并重復上述步驟6-2至步驟6-5,直到達到預設的迭代訓練次數為止,從而得到分布式訓練后的模型; 7通過主進程將步驟6得到的分布式訓練后的模型保存到分布式訓練結果倉庫中,并判斷是否能夠得到分布式訓練結果,如果是則過程結束,否則轉入步驟8; 8重新獲取數據集的信息,并返回步驟3。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人湖大粵港澳大灣區創新研究院(廣州增城),其通訊地址為:511338 廣東省廣州市增城區新塘鎮金融大道10號創悅孵化器A棟317室;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。