買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉天津汲智科技有限公司;南開大學申請的專利一種基于對比監(jiān)督和跨階段蒸餾的通用信息抽取方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN120338086B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510813075.X，技術領域涉及：G06N5/025；該發(fā)明授權一種基于對比監(jiān)督和跨階段蒸餾的通用信息抽取方法是由劉杰;金鈺設計研發(fā)完成，并于2025-06-18向國家知識產(chǎn)權局提交的專利申請。

本一種基于對比監(jiān)督和跨階段蒸餾的通用信息抽取方法在說明書摘要公布了：本發(fā)明提供一種基于對比監(jiān)督和跨階段蒸餾的通用信息抽取方法，包括選擇經(jīng)過預訓練的模型作為基座模型并進行初始化；為所述基座模型的權重矩陣初始化第一低秩分解矩陣和第二低秩分解矩陣；訓練所述第一低秩分解矩陣和所述第二低秩分解矩陣；將所述基座模型的權重、所述第一低秩分解矩陣和所述第二低秩分解矩陣進行合并，得到推理模型；將自然語言文本信息輸入到所述推理模型中；通過自然語言指令指定任務類型和輸出格式，輸出結構化信息抽取結果。本發(fā)明的有益效果是通過分階段訓練LoRA矩陣并復合參數(shù)，保留輔助任務知識的同時學習目標任務，顯著減少跨階段知識遷移的損失；自然語言指令驅(qū)動同一模型處理不同任務，無需切換模型架構。

本發(fā)明授權一種基于對比監(jiān)督和跨階段蒸餾的通用信息抽取方法在權利要求書中公布了：1.一種基于對比監(jiān)督和跨階段蒸餾的通用信息抽取方法，其特征在于，包括以下步驟： 選擇經(jīng)過預訓練的模型作為基座模型并進行初始化； 為所述基座模型的權重矩陣初始化第一低秩分解矩陣和第二低秩分解矩陣； 訓練所述第一低秩分解矩陣和所述第二低秩分解矩陣； 將所述基座模型的權重、所述第一低秩分解矩陣和所述第二低秩分解矩陣進行合并，得到推理模型； 將自然語言文本信息輸入到所述推理模型中； 通過自然語言指令指定任務類型和輸出格式，輸出結構化信息抽取結果； 訓練所述第一低秩分解矩陣包括以下步驟： 凍結所述基座模型的權重； 根據(jù)所述第一低秩分解矩陣的任務目的收集得到第一輸入文本； 所述第一輸入文本經(jīng)過預處理后生成第一輸入向量； 將所述第一輸入向量輸入到所述基座模型中； 根據(jù)方程式計算第一輸出向量，其中為所述第一輸出向量，為所述第一輸入向量，為所述基座模型的原始權重矩陣，為所述第一低秩分解矩陣； 構建第一損失函數(shù)優(yōu)化所述第一低秩分解矩陣的參數(shù)； 訓練所述第二低秩分解矩陣包括以下步驟： 凍結所述基座模型的權重和所述第一低秩分解矩陣； 通過隨機抽樣法將所述第一輸入文本按照抽取比例進行樣本抽取組成回放樣本； 根據(jù)所述第二低秩分解矩陣的任務目的收集得到第二輸入文本； 所述第二輸入文本和所述回放樣本經(jīng)過預處理后生成第二輸入向量； 根據(jù)方程式計算第二輸出向量，其中為所述第二輸出向量，為所述第二輸入向量，為所述第二低秩分解矩陣； 構建第二損失函數(shù)優(yōu)化所述第一低秩分解矩陣的參數(shù)。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或?qū)＠麢嗳?a target="_blank" rel="noopener noreferrer nofollow" href="https://iptop.www.hzsmkbearing.com.cn/list?keyword=%E5%A4%A9%E6%B4%A5%E6%B1%B2%E6%99%BA%E7%A7%91%E6%8A%80%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%3B%E5%8D%97%E5%BC%80%E5%A4%A7%E5%AD%A6&temp=1">天津汲智科技有限公司;南開大學，其通訊地址為：300110 天津市南開區(qū)科研西路天津科技廣場6-1-0907(天開園)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。