買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉國網(wǎng)浙江省電力有限公司營銷服務(wù)中心申請的專利一種基于選擇性干預(yù)的語言模型知識蒸餾方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120181263B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510652687.5，技術(shù)領(lǐng)域涉及：G06N20/00；該發(fā)明授權(quán)一種基于選擇性干預(yù)的語言模型知識蒸餾方法及系統(tǒng)是由沈然;張宏達;林少娃;朱林;袁婷;葉盛;侯素穎;王姝晏;吳偉玲設(shè)計研發(fā)完成，并于2025-05-21向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于選擇性干預(yù)的語言模型知識蒸餾方法及系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種基于選擇性干預(yù)的語言模型知識蒸餾方法及系統(tǒng)。本發(fā)明采用的方法，包括：初始化教師模型與學(xué)生模型；輸入文本提示，計算對應(yīng)的指數(shù)衰減閾值；獲取學(xué)生模型與教師模型的輸出分布；計算學(xué)生模型的輸出分布與教師模型的輸出分布之間的散度；根據(jù)散度和指數(shù)衰減閾值確定標簽序列；根據(jù)標簽序列更新學(xué)生模型參數(shù)。本發(fā)明通過引入指數(shù)衰減閾值，隨著生成序列的推進，動態(tài)調(diào)整教師模型在學(xué)生模型序列生成過程中的參與程度，以減少因?qū)W生生成的噪聲導(dǎo)致的錯誤積累。相較于傳統(tǒng)的學(xué)生生成輸出方法，本發(fā)明能夠顯著提高學(xué)生模型長序列生成的性能，并有效降低教師模型與學(xué)生模型之間的預(yù)測偏差，提升語言模型在實際應(yīng)用中的效果。

本發(fā)明授權(quán)一種基于選擇性干預(yù)的語言模型知識蒸餾方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于選擇性干預(yù)的語言模型知識蒸餾方法，其特征在于，包括： 步驟1），初始化教師模型與學(xué)生模型； 步驟2），輸入文本提示，計算對應(yīng)的指數(shù)衰減閾值； 步驟3），獲取學(xué)生模型與教師模型的輸出分布； 步驟4），計算學(xué)生模型的輸出分布與教師模型的輸出分布之間的散度； 步驟5），根據(jù)散度和指數(shù)衰減閾值確定標簽序列； 步驟6），根據(jù)標簽序列更新學(xué)生模型參數(shù)。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人國網(wǎng)浙江省電力有限公司營銷服務(wù)中心，其通訊地址為：311100 浙江省杭州市余杭區(qū)云聯(lián)路138號5幢；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。