買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉河北大學申請的專利對預訓練大語言模型的微調和推理階段的DPO-Tune方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN119204156B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202411209083.5，技術領域涉及：G06N3/094；該發(fā)明授權對預訓練大語言模型的微調和推理階段的DPO-Tune方法是由梁曉艷;張思懿;杜瑞忠;耿戩設計研發(fā)完成，并于2024-08-30向國家知識產(chǎn)權局提交的專利申請。

本對預訓練大語言模型的微調和推理階段的DPO-Tune方法在說明書摘要公布了：本發(fā)明涉及一種對預訓練大語言模型的微調和推理階段的DPO?Tune方法，包括以下步驟：S1.在cGAN中加入Rényi散度優(yōu)化器，并進行訓練，形成R?cGAN；S2.在隨機響應機制中加入動態(tài)擾動因子函數(shù)和R?cGAN，生成雙重隨機響應機制；S3.將待擾動數(shù)據(jù)集中的序列信息使用DP?Forward進行處理，并在數(shù)據(jù)前向傳遞過程中，根據(jù)解析矩陣高斯機制對待擾動數(shù)據(jù)集中的序列信息添加擾動；利用雙重隨機響應機制，對待擾動數(shù)據(jù)集中的特征標簽數(shù)據(jù)對進行擾動。本發(fā)明可以在保證大語言模型準確率的前提下有效提高序列和標簽信息的隱私性，進而增加模型的可用性，實現(xiàn)模型的準確性和隱私性之間的平衡。

本發(fā)明授權對預訓練大語言模型的微調和推理階段的DPO-Tune方法在權利要求書中公布了：1.一種對預訓練大語言模型的微調和推理階段的DPO-Tune方法，其特征是，包括以下步驟： S1.在cGAN中加入Rényi散度優(yōu)化器，并進行訓練，形成R-cGAN； S2.在隨機響應機制中加入動態(tài)擾動因子函數(shù)和R-cGAN，生成雙重隨機響應機制； S3.將待擾動數(shù)據(jù)集中的序列信息使用DP-Forward進行處理，并在數(shù)據(jù)前向傳遞過程中，根據(jù)解析矩陣高斯機制對待擾動數(shù)據(jù)集中的序列信息添加擾動；利用雙重隨機響應機制，對待擾動數(shù)據(jù)集中的特征標簽數(shù)據(jù)對進行擾動； 步驟S1中形成R-cGAN的具體方式為： S1-1.在cGAN中加入變分公式的Rényi散度優(yōu)化器，預先設置變分公式的Rényi散度優(yōu)化器的參數(shù)； S1-2.在訓練集中選擇原始特征標簽數(shù)據(jù)對，對原始特征標簽數(shù)據(jù)對中的原始標簽進行隨機響應，生成擾動標簽，將擾動標簽輸入至cGAN中，得到合成特征； S1-3.根據(jù)變分公式的Rényi散度優(yōu)化器，計算合成特征和原始特征標簽數(shù)據(jù)對中的原始特征的差異； S1-4.若差異大于預設值，則改變變分公式的Rényi散度優(yōu)化器的參數(shù)，重復步驟S1-2和步驟S1-3中對原始特征標簽數(shù)據(jù)對中的原始標簽進行隨機響應，生成擾動標簽；將擾動標簽輸入至cGAN中，得到合成特征，計算合成特征和原始特征標簽數(shù)據(jù)對中的原始特征的差異，直至差異達到預設值，將差異達到預設值時對應的參數(shù)作為變分公式的Rényi散度優(yōu)化器的參數(shù)，得到R-cGAN； 動態(tài)擾動因子函數(shù)的計算公式為： λx＝λ0+α·Sx 其中，λx為動態(tài)擾動因子函數(shù)，λ0為基礎的擾動因子，α為敏感度的調整系數(shù)，Sx敏感函數(shù)，Sx的計算公式為： , 其中，為個人身份信息，為普通信息。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人河北大學，其通訊地址為：071002 河北省保定市五四東路180號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。