云南省通信產(chǎn)業(yè)服務(wù)有限公司王東鴻獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉云南省通信產(chǎn)業(yè)服務(wù)有限公司申請(qǐng)的專利基于差分隱私的自適應(yīng)聯(lián)邦學(xué)習(xí)方法獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN120106242B 。
龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202510068391.9,技術(shù)領(lǐng)域涉及:G06N20/00;該發(fā)明授權(quán)基于差分隱私的自適應(yīng)聯(lián)邦學(xué)習(xí)方法是由王東鴻;于嘉;張凌;孫羽;朱家雄;李銳鵬;蔣婷婷設(shè)計(jì)研發(fā)完成,并于2025-01-16向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本基于差分隱私的自適應(yīng)聯(lián)邦學(xué)習(xí)方法在說明書摘要公布了:本發(fā)明公開了一種基于差分隱私的自適應(yīng)聯(lián)邦學(xué)習(xí)方法,屬于安全技術(shù)領(lǐng)域。包括以下步驟:通過客戶端初始化模型,利用交叉熵?fù)p失函數(shù)訓(xùn)練模型,并利用未標(biāo)記數(shù)據(jù)增強(qiáng)學(xué)習(xí);將本地模型更新發(fā)送至中央服務(wù)器,利用全局模型指導(dǎo)每個(gè)客戶端的本地模型訓(xùn)練;服務(wù)器智能選擇下一輪參與聚合的客戶端;客戶端和中央服務(wù)器協(xié)作,實(shí)施動(dòng)態(tài)模型評(píng)估機(jī)制,及時(shí)調(diào)整策略;更新后的全局模型下發(fā)給各客戶端,用于下一輪的本地模型訓(xùn)練。本方法不僅能夠根據(jù)數(shù)據(jù)的變化和模型的性能動(dòng)態(tài)調(diào)整學(xué)習(xí)策略,還通過增強(qiáng)的語義蒸餾和多任務(wù)學(xué)習(xí)策略提高了模型的泛化能力,有效地減少了通信成本,在數(shù)據(jù)敏感和分布不均的應(yīng)用場景中尤為有效。
本發(fā)明授權(quán)基于差分隱私的自適應(yīng)聯(lián)邦學(xué)習(xí)方法在權(quán)利要求書中公布了:1.基于差分隱私的自適應(yīng)聯(lián)邦學(xué)習(xí)方法,其特征在于,包括以下步驟: S10:設(shè)定N個(gè)客戶端,每個(gè)客戶端收集標(biāo)記數(shù)據(jù)集和未標(biāo)記數(shù)據(jù)集,隨后客戶端執(zhí)行數(shù)據(jù)預(yù)處理操作,初始化本地模型; S20:客戶端利用標(biāo)記數(shù)據(jù)集進(jìn)行模型訓(xùn)練,使用交叉熵函數(shù)優(yōu)化學(xué)習(xí)過程;對(duì)于未標(biāo)記數(shù)據(jù)集,通過自監(jiān)督學(xué)習(xí)方法生成偽標(biāo)簽,隨后將標(biāo)記數(shù)據(jù)集與生成的偽標(biāo)簽結(jié)合,進(jìn)一步優(yōu)化模型參數(shù),進(jìn)行本地模型更新; S30:客戶端將本地模型更新發(fā)送至中央服務(wù)器,中央服務(wù)器利用全局模型通過增強(qiáng)的語義蒸餾方法以及多任務(wù)學(xué)習(xí)和元學(xué)習(xí)策略,指導(dǎo)每個(gè)客戶端的本地模型訓(xùn)練; S40:中央服務(wù)器對(duì)各客戶端上傳的模型更新進(jìn)行評(píng)估,基于客戶端數(shù)據(jù)質(zhì)量、多樣性和歷史貢獻(xiàn)度,計(jì)算聚合權(quán)重,進(jìn)行新一輪的全局模型更新,并動(dòng)態(tài)調(diào)整下一輪參與聚合的客戶端集合; S50:在全局模型更新上傳與全局模型下發(fā)過程中,采用差分隱私機(jī)制對(duì)敏感參數(shù)進(jìn)行擾動(dòng)處理,同時(shí)結(jié)合安全多方計(jì)算技術(shù)在中央服務(wù)器端進(jìn)行安全聚合; S60:客戶端和中央服務(wù)器協(xié)同進(jìn)行模型性能評(píng)估,實(shí)時(shí)監(jiān)控模型的學(xué)習(xí)進(jìn)度,并根據(jù)評(píng)估結(jié)果調(diào)整元學(xué)習(xí)策略; S70:將更新后的全局模型下發(fā)給各客戶端,用于下一輪的本地模型訓(xùn)練,直至達(dá)到預(yù)定的性能指標(biāo)或?qū)W習(xí)輪次,完成本地模型訓(xùn)練; 所述S30具體包括: 進(jìn)行模型聚合更新,定義蒸餾損失函數(shù)Ldistillθi用于客戶端從全局模型中學(xué)習(xí): 其中,Qyj|x;θg代表全局模型θg對(duì)輸入樣本x的類別j的預(yù)測(cè)概率; 利用本地模型學(xué)習(xí)全局模型的輸出,同時(shí)學(xué)習(xí)其他任務(wù),使用多任務(wù)學(xué)習(xí)策略,假設(shè)有其他任務(wù)損失Ltaskθk,則整合多任務(wù)學(xué)習(xí)的總損失函數(shù)Ltotalθk為: Ltotalθk=Ldistillθk+λLtaskθk 其中λ是任務(wù)損失權(quán)重系數(shù); 使用元學(xué)習(xí)策略動(dòng)態(tài)調(diào)整學(xué)習(xí)率、損失函數(shù)中的權(quán)重系數(shù)λk以及學(xué)習(xí)任務(wù)之間的優(yōu)先級(jí),定義一個(gè)元目標(biāo)LmetaΦ,通過交叉驗(yàn)證集上的性能來驗(yàn)證學(xué)習(xí)的有效性: 其中,Φ是元學(xué)習(xí)的參數(shù),Φ*是使元目標(biāo)LmetaΦ最小化的參數(shù); 基于上述總損失函數(shù)Ltotalθk和元學(xué)習(xí)策略,更新每個(gè)客戶端的本地模型參數(shù)θk,每個(gè)本地模型新一輪的模型參數(shù)其中,η代表學(xué)習(xí)率,代表總損失函數(shù)對(duì)參數(shù)θk的梯度。
如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人云南省通信產(chǎn)業(yè)服務(wù)有限公司,其通訊地址為:650000 云南省昆明市中國(云南)自由貿(mào)易試驗(yàn)區(qū)昆明片區(qū)官渡區(qū)北京路237號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 皇家飛利浦有限公司C·韋雷坎普獲國家專利權(quán)
- 國際商業(yè)機(jī)器公司C·里徹特納獲國家專利權(quán)
- 北京沃東天駿信息技術(shù)有限公司王剛獲國家專利權(quán)
- 中國科學(xué)院重慶綠色智能技術(shù)研究院冷重錢獲國家專利權(quán)
- IDAC控股公司米歇爾·佩拉斯獲國家專利權(quán)
- 傳感技術(shù)股份有限公司J·查特吉獲國家專利權(quán)
- 浙江大學(xué)城市學(xué)院劉麗獲國家專利權(quán)
- 中興通訊股份有限公司崔曉光獲國家專利權(quán)
- 深圳市利旺多科技有限公司姚仰華獲國家專利權(quán)
- 市光法雷奧(佛山)汽車照明系統(tǒng)有限公司倪澤斌獲國家專利權(quán)