買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉哈爾濱工業(yè)大學(深圳)(哈爾濱工業(yè)大學深圳科技創(chuàng)新研究院)申請的專利基于大模型的輕量化領(lǐng)域指令微調(diào)數(shù)據(jù)合成方法及裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120430303B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510938346.4，技術(shù)領(lǐng)域涉及：G06F40/279；該發(fā)明授權(quán)基于大模型的輕量化領(lǐng)域指令微調(diào)數(shù)據(jù)合成方法及裝置是由劉學博;柯瀟鵬;鄧賀烜;張民設(shè)計研發(fā)完成，并于2025-07-08向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于大模型的輕量化領(lǐng)域指令微調(diào)數(shù)據(jù)合成方法及裝置在說明書摘要公布了：本發(fā)明提供一種基于大模型的輕量化領(lǐng)域指令微調(diào)數(shù)據(jù)合成方法及裝置，涉及面向問答的大語言模型數(shù)據(jù)合成技術(shù)領(lǐng)域。該方法包括：將構(gòu)建的無標簽數(shù)據(jù)集輸入大語言模型中，獲得合成數(shù)據(jù)集；采用合成數(shù)據(jù)集進行訓練，獲得訓練好的數(shù)據(jù)合成模型；采用低秩分解適配器對訓練好的數(shù)據(jù)合成模型進行指令微調(diào)，獲得微調(diào)后的模型；將給定任務(wù)類型和與其相關(guān)的無標簽數(shù)據(jù)輸入訓練好的數(shù)據(jù)合成模型中，生成具有問題、邏輯以及答案的數(shù)據(jù)；將無標簽數(shù)據(jù)和具有問題、邏輯以及答案的數(shù)據(jù)進行合并，獲得新的合成數(shù)據(jù)集；將新的合成數(shù)據(jù)集輸入微調(diào)后的模型中進行評估，獲得評估分數(shù)；根據(jù)評估分數(shù)進行過濾，獲得高質(zhì)量數(shù)據(jù)集。采用本發(fā)明可提高數(shù)據(jù)合成的效率。

本發(fā)明授權(quán)基于大模型的輕量化領(lǐng)域指令微調(diào)數(shù)據(jù)合成方法及裝置在權(quán)利要求書中公布了：1.一種基于大模型的輕量化領(lǐng)域指令微調(diào)數(shù)據(jù)合成方法，其特征在于，所述方法包括： S1、構(gòu)建無標簽數(shù)據(jù)集；其中，無標簽數(shù)據(jù)集包括：多種不同的任務(wù)類型和多領(lǐng)域的無標簽文本數(shù)據(jù)； S2、將多種不同的任務(wù)類型和多領(lǐng)域的無標簽文本數(shù)據(jù)輸入大語言模型中，獲得第一具有問題、邏輯以及答案的數(shù)據(jù)； S3、將多種不同的任務(wù)類型、多領(lǐng)域的無標簽文本數(shù)據(jù)以及第一具有問題、邏輯以及答案的數(shù)據(jù)進行合成，獲得第一合成數(shù)據(jù)集；采用第一合成數(shù)據(jù)集，通過構(gòu)建的損失函數(shù)進行訓練，獲得訓練好的數(shù)據(jù)合成模型； S4、從無標簽數(shù)據(jù)集中隨機采樣無標簽文本數(shù)據(jù)和任務(wù)類型輸入訓練好的數(shù)據(jù)合成模型，合成第二具有問題、邏輯以及答案的數(shù)據(jù)；將隨機采樣的無標簽文本數(shù)據(jù)和任務(wù)類型以及第二具有問題、邏輯以及答案的數(shù)據(jù)進行合并，獲得第二合成數(shù)據(jù)集； S5、采用大語言模型對第二合成數(shù)據(jù)集進行評估，獲得第一評估分數(shù)；根據(jù)第一評估分數(shù)，獲得評估數(shù)據(jù)集；根據(jù)評估數(shù)據(jù)集，通過低秩分解適配器以及構(gòu)建的微調(diào)損失函數(shù)，對訓練好的數(shù)據(jù)合成模型進行微調(diào)，獲得微調(diào)后的數(shù)據(jù)合成模型； S6、將給定任務(wù)類型和與給定任務(wù)類型相關(guān)的無標簽文本數(shù)據(jù)輸入訓練好的數(shù)據(jù)合成模型中，生成第三具有問題、邏輯以及答案的數(shù)據(jù)；將給定任務(wù)類型和與給定任務(wù)類型相關(guān)的無標簽文本數(shù)據(jù)以及第三具有問題、邏輯以及答案的數(shù)據(jù)進行合并，獲得第三合并數(shù)據(jù)集； S7、將第三合并數(shù)據(jù)集輸入微調(diào)后的數(shù)據(jù)合成模型進行評估，獲得第二評估分數(shù)；根據(jù)第二評估分數(shù)進行評估過濾，獲得高質(zhì)量領(lǐng)域特定數(shù)據(jù)集。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人哈爾濱工業(yè)大學(深圳)(哈爾濱工業(yè)大學深圳科技創(chuàng)新研究院)，其通訊地址為：518000 廣東省深圳市南山區(qū)桃源街道深圳大學城哈爾濱工業(yè)大學校區(qū)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。