買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉福州大學申請的專利基于遠程監督和知識蒸餾的差異感知回復生成方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116775840B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310794764.1，技術領域涉及：G06F16/3329；該發明授權基于遠程監督和知識蒸餾的差異感知回復生成方法及系統是由陳羽中;鄭旭;陳子陽設計研發完成，并于2023-06-30向國家知識產權局提交的專利申請。

本基于遠程監督和知識蒸餾的差異感知回復生成方法及系統在說明書摘要公布了：本發明涉及一種基于遠程監督和知識蒸餾的差異感知回復生成方法及系統，該方法包括以下步驟：步驟A：在社交平臺中采集自然的、開放領域的對話，并使用檢索系統在維基百科中檢索該對話相關的背景知識，并標注真實回復的標簽，以此來構建訓練數據集DE；步驟B：使用訓練數據集DE，訓練基于遠程監督和知識蒸餾的深度學習網絡模型M，通過此模型選擇需要的背景知識，并根據選擇的背景知識生成回復；步驟C：將對話上下文、背景知識庫輸入到訓練好的深度學習網絡模型M中，生成對應的回復。該方法及系統有利于提高生成回復的準確性。

本發明授權基于遠程監督和知識蒸餾的差異感知回復生成方法及系統在權利要求書中公布了：1.一種基于遠程監督和知識蒸餾的差異感知回復生成方法，其特征在于，包括以下步驟： 步驟A：在社交平臺中采集自然的、開放領域的對話，并使用檢索系統在維基百科中檢索該對話相關的背景知識，并標注真實回復的標簽，以此來構建訓練數據集DE； 步驟B：使用訓練數據集DE，訓練基于遠程監督和知識蒸餾的深度學習網絡模型M，通過此模型選擇需要的背景知識，并根據選擇的背景知識生成回復； 步驟C：將對話上下文、背景知識庫輸入到訓練好的深度學習網絡模型M中，生成對應的回復； 所述步驟B具體包括以下步驟： 步驟B1：對訓練數據集DE中的所有訓練樣本進行初始編碼，從而得到本輪對話上文的句子表示向量本輪真實回復的句子表示向量本輪的候選知識的句子表示向量 步驟B2：將步驟B1得到的本輪對話上文的句子表示向量以及本輪真實回復的句子表示向量通過GRU編碼得到對話歷史信息表示將候選知識的句子表示向量通過BiGRU進行編碼得到帶有句間關系信息的向量表示rt； 步驟B3：將先前M輪模型選擇的候選知識的句子表示與步驟B2中得到的帶有句間關系信息的當前輪次的候選知識向量表示rt進行差異計算，并根據輪次的先后通過基于時間衰減的加權函數對不同輪次的差異信息進行求和，得到候選知識的差異信息表示 步驟B4：采用遠程監督方法，通過計算候選知識和真實回復之間的F1分數來獲取偽真實知識的概率分布并取概率最大的知識作為偽真實知識 步驟B5：采用知識蒸餾方法，學生知識選擇器采用上一輪的對話歷史信息和本輪的對話上文的句子表示向量作為查詢向量，教師知識選擇器的查詢向量中額外添加了真實回復向量，再將本輪的候選知識的句子表示向量與步驟B3中得到的差異信息表示進行連接作為教師選擇器和學生選擇器的鍵向量，分別計算兩者的注意力得分，將得分最高的知識作為兩個選擇器選擇的知識，訓練學生選擇器的分布逼近教師選擇器的分布，并將學生選擇器選擇的知識作為本輪選擇的知識； 步驟B6：采用基于自步學習的兩階段訓練策略，根據不同的訓練階段分別將本輪選擇的知識或偽真實知識對話上文信息輸入解碼器生成本輪次的回復，具體的，預訓練階段采用步驟B4得到的偽真實知識進行訓練，微調階段采用自步學習策略，根據評分函數的大小來決定采用偽真實知識或本輪選擇的知識將選擇的知識、上下文信息輸入解碼器，生成本輪的回復yt； 步驟B7：當深度學習網絡模型每次迭代產生的損失值變化小于所給定閾值、或者達到最大迭代次數，則終止深度學習網絡模型的訓練過程； 所述步驟B4具體包括以下步驟： 步驟B41：通過計算候選知識與真實回復之間的F1分數獲取偽真實知識的概率分布并取概率最大的知識作為偽真實知識計算過程如下： 所述步驟B5具體包括以下步驟： 步驟B51：學生知識選擇器使用步驟B21得到的對話歷史信息和步驟B12得到的本輪的對話上文向量進行拼接作為查詢，將步驟B14得到的候選知識向量和步驟B32得到的差異信息表示作為鍵，通過計算attention分數得到選擇知識的概率分布計算過程如下： 其中，tanh·是激活函數，Wstuque，Wstukey，vT是可訓練的參數； 步驟B52：將步驟B51獲得的學生知識選擇分布進行歸一化操作，并取概率最大的知識作為本輪知識選擇器的選擇知識計算過程如下： 其中，softmax是歸一化函數，argmax是求函數最大值對應的自變量的函數； 步驟B53：教師知識選擇器使用步驟B21得到的結合本輪真實回復的對話上下文信息作為查詢，將步驟B14得到的候選知識向量和步驟B32得到的差異信息表示作為鍵，通過計算attention分數得到選擇知識的概率分布計算過程如下： 其中，tanh·是激活函數，Wteaque，Wteakey，vT是可訓練的參數； 步驟B54：采用步驟B41獲得的偽真實知識標簽和置信度權重并通過交叉熵損失對學生知識選擇器進行訓練，計算過程如下： 其中，表示交叉熵損失，是偽真實知識標簽的置信度權重，表示學生知識選擇器的選擇分布； 步驟B55：采用步驟B41獲得的偽真實知識標簽和置信度權重并通過交叉熵損失對教師知識選擇器進行訓練，計算過程如下： 其中，表示交叉熵損失，是偽真實知識標簽的置信度權重，表示教師知識選擇器的選擇分布； 步驟B56：通過最小化蒸餾損失訓練學生知識選擇器的選擇分布擬合教師知識選擇器的選擇分布，計算過程如下： 其中，為學生選擇分布和教師選擇分布的KL散度； 步驟B57：將步驟B54的學生選擇器損失、步驟B55的教師選擇器損失、步驟B56的蒸餾損失相加作為知識選擇器的整體損失，計算過程如下：

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人福州大學，其通訊地址為：350108 福建省福州市閩侯縣福州大學城烏龍江北大道2號福州大學；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。