買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉西安電子科技大學(xué)申請的專利基于Transformer指針抽取的人機(jī)多輪對話改寫方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116028606B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-12發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號(hào)為：202310007932.8，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)基于Transformer指針抽取的人機(jī)多輪對話改寫方法是由宋建鋒;孫章杰;苗啟廣;劉如意;謝琨;劉向增;權(quán)義寧設(shè)計(jì)研發(fā)完成，并于2023-01-04向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本基于Transformer指針抽取的人機(jī)多輪對話改寫方法在說明書摘要公布了：本發(fā)明公開了一種基于Transformer指針抽取的人機(jī)多輪對話改寫方法，其實(shí)現(xiàn)步驟為：構(gòu)造文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)和語義缺失文本改寫網(wǎng)絡(luò)；生成訓(xùn)練集；訓(xùn)練文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)和語義缺失文本改寫網(wǎng)絡(luò)；判斷用戶輸入文本間語義是否相關(guān)；改寫語義缺失文本。本發(fā)明利用Transformer的預(yù)訓(xùn)練模型進(jìn)行特征提取并編碼，利用通過指針地址抽取文本關(guān)鍵信息內(nèi)容的技術(shù)思路對用戶文本進(jìn)行改寫。使得本發(fā)明具有可以判斷是否需要對用戶當(dāng)前輸入文本進(jìn)行改寫、改寫用戶語義缺失文本質(zhì)量高、耗時(shí)短的優(yōu)點(diǎn)，可用于人機(jī)多輪對話領(lǐng)域中對語義缺失文本的改寫任務(wù)。

本發(fā)明授權(quán)基于Transformer指針抽取的人機(jī)多輪對話改寫方法在權(quán)利要求書中公布了：1.一種基于Transformer指針抽取的人機(jī)多輪對話改寫方法，其特征在于，基于Transformer的預(yù)訓(xùn)練模型進(jìn)行特征提取并編碼，分別構(gòu)建并訓(xùn)練文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)和語義缺失文本改寫網(wǎng)絡(luò)；該對話改寫方法的步驟包括如下： 步驟1，構(gòu)建文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)： 搭建一個(gè)四層的文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)，其結(jié)構(gòu)依次串聯(lián)為：數(shù)據(jù)處理層，語義編碼層，分類處理層，輸出層；其中，語義編碼層是由Bert預(yù)訓(xùn)練模型實(shí)現(xiàn)；將字嵌入向量維度設(shè)置為768，文本允許的最大長度設(shè)置為10；分類處理層由兩個(gè)結(jié)構(gòu)相同的第一分類單元和第二分類單元串聯(lián)組成，每個(gè)分類單元由Dropout模塊和全連接模塊串聯(lián)組成，將Dropout的比例設(shè)置為0.2，第一分類單元中的全連接模塊輸出維度設(shè)置為8，第二分類單元中的全連接模塊輸出維度設(shè)置為2；輸出層由Softmax單元組成，輸出值均設(shè)置為0或1； 步驟2，構(gòu)建語義缺失文本改寫網(wǎng)絡(luò)： 搭建一個(gè)四層的語義缺失文本改寫網(wǎng)絡(luò)，其結(jié)構(gòu)依次串聯(lián)為：數(shù)據(jù)處理層，語義編碼層，指針預(yù)測層，輸出層；其中，語義編碼層是由Transformer的rbt3預(yù)訓(xùn)練模型實(shí)現(xiàn)，將字嵌入向量維度設(shè)置為768，文本允許的最大長度設(shè)置為50；指針預(yù)測層是由指針抽取方法實(shí)現(xiàn)，通過抽取文本關(guān)鍵信息的指針地址，用指針地址提取的關(guān)鍵詞替換待改寫文本的指代詞或插入缺省位置，得到改寫后的完整語義文本，將訓(xùn)練樣本批次大小設(shè)置為16，訓(xùn)練總輪次大小設(shè)置為20；輸出層是由解碼器實(shí)現(xiàn)，將網(wǎng)絡(luò)對于樣本數(shù)據(jù)的改寫評估指標(biāo)設(shè)置為Rouge-1值； 步驟3，生成訓(xùn)練集： 步驟3.1，將兩段文本及對應(yīng)的語義相關(guān)性標(biāo)簽組成label，q1，q2格式的一組文本語義相關(guān)性識(shí)別數(shù)據(jù)，其中，q1和q2分別表示用于語義相關(guān)性識(shí)別的兩個(gè)文本，label表示標(biāo)簽，值為0或1，分別對應(yīng)兩個(gè)文本語義不相關(guān)或相關(guān)；采用相同方式，選取至少80000組文本語義相關(guān)性識(shí)別數(shù)據(jù)組成文本語義相關(guān)性識(shí)別訓(xùn)練集； 步驟3.2，將四段文本組成a，b，current，right格式的一組數(shù)據(jù)，其中，a表示用戶上一輪輸入文本，b表示系統(tǒng)上一輪的回復(fù)文本，current表示當(dāng)前待改寫的文本，right表示理論正確改寫后的文本；采用相同方式，選取至少17000組數(shù)據(jù)組成語義缺失文本改寫訓(xùn)練集； 步驟4，訓(xùn)練文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)： 將文本語義相關(guān)性識(shí)別訓(xùn)練集輸入到文本語義相關(guān)識(shí)別網(wǎng)絡(luò)中，輸出訓(xùn)練樣本的預(yù)測標(biāo)簽，利用交叉熵?fù)p失函數(shù)計(jì)算訓(xùn)練樣本的預(yù)測標(biāo)簽與真實(shí)標(biāo)簽之間的損失值，通過梯度下降法，迭代更新文本語義相關(guān)識(shí)別網(wǎng)絡(luò)中的所有參數(shù)，直至損失值不再變化為止，得到訓(xùn)練好的文本語義相關(guān)識(shí)別網(wǎng)絡(luò)； 步驟5，訓(xùn)練語義缺失文本改寫網(wǎng)絡(luò)： 將語義缺失文本改寫訓(xùn)練集輸入到語義缺失文本改寫網(wǎng)絡(luò)中，輸出改寫后的完整語義文本，并計(jì)算網(wǎng)絡(luò)改寫后的文本和理論正確改寫的文本間的Rouge-1值，通過梯度下降法，迭代更新語義缺失文本改寫網(wǎng)絡(luò)中的所有參數(shù)，直至Rouge-1值不再變化為止，記錄最高的Rouge-1值訓(xùn)練輪次的所有參數(shù)，得到訓(xùn)練好的語義缺失文本改寫網(wǎng)絡(luò)； 步驟6，判斷用戶輸入文本間語義是否相關(guān)： 將用戶上一輪輸入文本與用戶當(dāng)前輸入文本，輸入到訓(xùn)練好的文本語義相關(guān)性識(shí)別網(wǎng)絡(luò)中，輸出用戶兩輪對話文本的語義相關(guān)性預(yù)測標(biāo)簽，若預(yù)測標(biāo)簽值為0，則說明用戶當(dāng)前輸入文本與上一輪輸入文本間的語義無關(guān)聯(lián)，無需改寫；若預(yù)測標(biāo)簽值為1，說明用戶當(dāng)前輸入文本與上一輪輸入文本間的語義相關(guān)聯(lián)，需要進(jìn)行改寫工作理解當(dāng)前輸入文本的語義，執(zhí)行步驟7； 步驟7，改寫語義缺失文本： 將用戶上一輪輸入文本與用戶當(dāng)前輸入文本以及機(jī)器上一輪回復(fù)文本，均輸入到訓(xùn)練好的語義缺失文本改寫網(wǎng)絡(luò)中，輸出對用戶當(dāng)前輸入文本改寫后的完整語義文本，根據(jù)改寫后的完整語義文本理解用戶當(dāng)前輸入文本的語義。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人西安電子科技大學(xué)，其通訊地址為：710071 陜西省西安市太白南路2號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。