武漢大學錢鐵云獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉武漢大學申請的專利基于終身蒸餾的開放域對話生成方法及設備獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN115455138B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210983974.0,技術領域涉及:G06F40/35;該發明授權基于終身蒸餾的開放域對話生成方法及設備是由錢鐵云;姜聰聰;徐馬一設計研發完成,并于2022-08-17向國家知識產權局提交的專利申請。
本基于終身蒸餾的開放域對話生成方法及設備在說明書摘要公布了:本發明提供了一種基于終身蒸餾的開放域對話生成方法及設備。所述方法包括:步驟1至步驟3。本發明提出由淺入深依次順序建模不同層次的對話數據,保證每種對話層次特征能夠被準確建模,能夠有效提升模型的準確性,采用舊層次對話訓練的模型當作教師,在建模新層次對話時蒸餾該教師的知識給學生,學生能夠綜合建模各種對話特征,有利于保持對話的多樣性。
本發明授權基于終身蒸餾的開放域對話生成方法及設備在權利要求書中公布了:1.一種基于終身蒸餾的開放域對話生成方法,其特征在于,包括: 步驟1:對原始數據進行預處理,得到驗證集、測試集、以及包含歷史話語數量不超過3個多段對話的訓練集; 步驟2:構建基于終身蒸餾的開放域對話生成模型,將訓練樣本與驗證樣本批量隨機地輸入基于終身蒸餾的開放域對話生成模型中,開始迭代模型訓練過程,得到訓練集與驗證集上的評價指標,當驗證集上的指標不再上升或迭代達到預定次數后停止,保存驗證集上的最優模型,所述構建基于終身蒸餾的開放域對話生成模型包括:構建基礎編解碼模型結構、構建基于終身蒸餾的教師-學生架構、構建目標函數;其中,所述構建基礎編解碼模型結構包括:采用基于Transformer的序列到序列生成框架,構建嵌入層、編碼器、解碼器及輸出層; 所述構建基于終身蒸餾的教師-學生架構包括:在構建模型時引入舊模型作為教師幫助蒸餾之前層次的對話知識,將上一時刻訓練好的模型Mm-1當作當前時刻m訓練模型Mm的教師,到下一時刻m+1,當前模型Mm作為教師指導模型Mm+1的訓練,以此類推進行順序蒸餾; 所述構建目標函數包括:為在當前訓練過程中,能夠保存部分之前訓練過程中學習到的知識,讓模型能夠學習不同輪次對話的特征,提高模型的準確性和多樣性,在每個樣例除硬標簽與預測分布之間的損失之外,引入上一個過程訓練好的模型,將其作為教師模型,輸出的軟標簽指導當前模型進行預測; 步驟3:加載在驗證集上評價指標最優的基于終身蒸餾的開放域對話生成模型,采用測試樣本批量進行測試,輸出與保存對話生成的結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人武漢大學,其通訊地址為:430072 湖北省武漢市武昌區珞珈山街道八一路299號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。