買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉安徽大學(xué)申請(qǐng)的專利一種通信高效的聯(lián)邦學(xué)習(xí)多粒度分組微調(diào)方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119109943B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411044049.7，技術(shù)領(lǐng)域涉及：H04L67/12；該發(fā)明授權(quán)一種通信高效的聯(lián)邦學(xué)習(xí)多粒度分組微調(diào)方法是由王怡欣;肖波;許柯;張興義設(shè)計(jì)研發(fā)完成，并于2024-07-31向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種通信高效的聯(lián)邦學(xué)習(xí)多粒度分組微調(diào)方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種通信高效的聯(lián)邦學(xué)習(xí)多粒度分組微調(diào)方法，涉及信息安全技術(shù)領(lǐng)域，解決了當(dāng)前聯(lián)邦學(xué)習(xí)的通信開(kāi)銷大以及在數(shù)據(jù)非獨(dú)立同分布即Non?IID場(chǎng)景下的模型性能弱的技術(shù)問(wèn)題；本發(fā)明通過(guò)LoRA低秩參數(shù)矩陣構(gòu)建客戶端的預(yù)訓(xùn)練模型；客戶端對(duì)參數(shù)矩陣B進(jìn)行非對(duì)稱性微調(diào)并將矩陣B上傳至服務(wù)器；服務(wù)器進(jìn)行多粒度分組并計(jì)算組內(nèi)加權(quán)平均低秩矩陣；服務(wù)器對(duì)各客戶端對(duì)應(yīng)的專家門控參數(shù)進(jìn)行加權(quán)平均得到平均專家門控參數(shù)，并用于全局模型的推理。本發(fā)明通過(guò)利用低秩適應(yīng)矩陣的非對(duì)稱性訓(xùn)練模型降低了LoRA的訓(xùn)練和通信開(kāi)銷，并且通過(guò)LoRA結(jié)合混合專家的訓(xùn)練方式提升了模型在Non?IID場(chǎng)景下的精度。

本發(fā)明授權(quán)一種通信高效的聯(lián)邦學(xué)習(xí)多粒度分組微調(diào)方法在權(quán)利要求書(shū)中公布了：1.一種通信高效的聯(lián)邦學(xué)習(xí)多粒度分組微調(diào)方法，其特征在于，包括： S1：通過(guò)LoRA低秩參數(shù)矩陣構(gòu)建客戶端的預(yù)訓(xùn)練模型；其中，LoRA低秩參數(shù)矩陣包括參數(shù)矩陣A和參數(shù)矩陣B； S2：客戶端對(duì)參數(shù)矩陣B進(jìn)行非對(duì)稱性微調(diào)并將參數(shù)矩陣B上傳至服務(wù)器； S3：計(jì)算各客戶端之間的相似度向量； S4：服務(wù)器進(jìn)行多粒度分組并計(jì)算組內(nèi)加權(quán)平均低秩矩陣； S5：客戶端進(jìn)行低秩混合專家設(shè)置并加載若干組低秩矩陣得到專家LoRA； S6：客戶端通過(guò)低秩混合專家微調(diào)專家門控參數(shù)并上傳至服務(wù)器； S7：服務(wù)器對(duì)各客戶端對(duì)應(yīng)的專家門控參數(shù)進(jìn)行加權(quán)平均得到平均專家門控參數(shù)，并用于全局模型的推理； 所述服務(wù)器進(jìn)行多粒度分組并計(jì)算組內(nèi)加權(quán)平均低秩矩陣，包括： 使用相似度向量和K-Means算法將參數(shù)矩陣B進(jìn)行多粒度分組，得到M個(gè)分組，將分組標(biāo)記為i；對(duì)分組i中組內(nèi)所有參數(shù)矩陣根據(jù)客戶端對(duì)應(yīng)的數(shù)據(jù)量進(jìn)行加權(quán)平均，得到組內(nèi)加權(quán)平均低秩矩陣并發(fā)送至客戶端；其中，i=1，2，…，M，M為分組總數(shù)；多粒度分組的方式包括： 客戶端粒度分組：對(duì)客戶端內(nèi)預(yù)訓(xùn)練模型所有層的相似度向量求平均向量，得到客戶端粒度的相似度向量，然后再對(duì)客戶端粒度的相似度向量使用K-Means算法分成M組； 模型塊粒度分組：對(duì)同一客戶端相同塊內(nèi)所有層的相似度向量求平均向量，得到模型塊粒度的相似度向量，然后再對(duì)模型塊粒度的相似度向量使用K-Means算法分成M組； 模型層粒度分組：直接對(duì)模型層粒度的相似度向量使用K-Means算法分成M組； 所述客戶端通過(guò)低秩混合專家微調(diào)專家門控參數(shù)并上傳至服務(wù)器，包括： 客戶端凍結(jié)預(yù)訓(xùn)練模型和專家LoRA，凍結(jié)專家LoRA包括凍結(jié)參數(shù)矩陣A和參數(shù)矩陣；對(duì)客戶端n的專家門控參數(shù)G進(jìn)行微調(diào)，微調(diào)完成后將訓(xùn)練好的專家門控參數(shù)G上傳至服務(wù)器；對(duì)于混合專家模型的專家門控而言，第i個(gè)專家LoRA的分配概率計(jì)算公式為： ； 其中，x為專家門控的輸入，Gi為第i個(gè)專家LoRA對(duì)應(yīng)的專家門控參數(shù)，e為自然常數(shù)，softmax函數(shù)用于計(jì)算專家門控單元的分配概率； 通過(guò)公式計(jì)算模型總輸出；其中，為預(yù)訓(xùn)練模型參數(shù)矩陣。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人安徽大學(xué)，其通訊地址為：231200 安徽省合肥市肥西路3號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。