買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉吉林大學(xué)申請(qǐng)的專利一種基于BERT模型與外部知識(shí)圖譜的問答系統(tǒng)構(gòu)建方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116662500B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310533217.8，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)一種基于BERT模型與外部知識(shí)圖譜的問答系統(tǒng)構(gòu)建方法是由時(shí)小虎;姜冉;陶紫涵;楊森設(shè)計(jì)研發(fā)完成，并于2023-05-12向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于BERT模型與外部知識(shí)圖譜的問答系統(tǒng)構(gòu)建方法在說明書摘要公布了：本發(fā)明適用于深度學(xué)習(xí)和自然語言處理技術(shù)領(lǐng)域，提供了一種基于BERT模型與外部知識(shí)圖譜的問答系統(tǒng)構(gòu)建方法，包括以下步驟：對(duì)輸入的單詞進(jìn)行詞嵌入與字符嵌入，預(yù)處理后得到嵌入向量；使用堆疊編碼器提取特征；將提取特征得到的向量與使用外部知識(shí)圖得到的知識(shí)表示進(jìn)行融合；計(jì)算出注意力得分矩陣，融合知識(shí)表示得到問題感知上下文表示；使用堆疊模型編碼器，得到最后的嵌入表達(dá)，使用激活函數(shù)得到答案的開始和結(jié)束位置的概率的預(yù)測(cè)；將預(yù)測(cè)答案與真實(shí)答案進(jìn)行文本蘊(yùn)含識(shí)別。本發(fā)明采用靜態(tài)動(dòng)態(tài)相結(jié)合的嵌入，有利于機(jī)器對(duì)自然語言的理解；本發(fā)明運(yùn)用知識(shí)圖譜的概念，增加準(zhǔn)確率；增加答案驗(yàn)證的部分，將答案驗(yàn)證任務(wù)轉(zhuǎn)換為文本蘊(yùn)含識(shí)別任務(wù)。

本發(fā)明授權(quán)一種基于BERT模型與外部知識(shí)圖譜的問答系統(tǒng)構(gòu)建方法在權(quán)利要求書中公布了：1.一種基于BERT模型與外部知識(shí)圖譜的問答系統(tǒng)構(gòu)建方法，其特征在于，包括以下步驟： 步驟A、對(duì)輸入的單詞進(jìn)行詞嵌入與字符嵌入，進(jìn)行預(yù)處理后得到可以輸入到神經(jīng)網(wǎng)絡(luò)的嵌入向量； 步驟B、根據(jù)步驟A得到的嵌入向量，使用堆疊編碼器提取特征； 步驟C、使用外部的知識(shí)圖譜，用來增加文本之間的關(guān)系的表示，記為上下文與問題的知識(shí)表示，將步驟B得到的向量，與知識(shí)表示進(jìn)行融合； 步驟D、根據(jù)步驟C得到的表示，使用注意力機(jī)制計(jì)算出注意力得分矩陣，得到問題感知上下文表示； 步驟E、根據(jù)步驟D得到問題感知上下文表示，使用堆疊模型編碼器，得到最后的嵌入表示，并使用激活函數(shù)得到答案的開始和結(jié)束位置的概率預(yù)測(cè)； 步驟F、根據(jù)步驟E得到的預(yù)測(cè)答案，與步驟A輸入的真實(shí)答案進(jìn)行文本蘊(yùn)含識(shí)別，判斷問題是否是可回答的； 所述步驟A采用GloVe與BERT相結(jié)合的方式，同時(shí)進(jìn)行詞嵌入，形成詞嵌入向量；使用CNN對(duì)每個(gè)單詞上的字符進(jìn)行嵌入，形成字符向量；使用highway網(wǎng)絡(luò)對(duì)詞嵌入向量和字符向量進(jìn)行拼接，得到可以輸入到神經(jīng)網(wǎng)絡(luò)的嵌入向量；具體過程如下： 首先對(duì)于輸入的context和question進(jìn)行詞嵌入，使用GloVe和BERT模型分別進(jìn)行靜態(tài)的和動(dòng)態(tài)的嵌入，形成詞向量，分別記為，，，，使用char-CNN對(duì)輸入的進(jìn)行字符嵌入，記為，，對(duì)以上得到的三種向量進(jìn)行拼接，得到公式（1）和（2）： ，，1 ，，2 其中，Concat代表向量拼接操作；將拼接好的向量輸入到highway網(wǎng)絡(luò)中，highway網(wǎng)絡(luò)計(jì)算如公式（3）-（5）所示： 3 4 5 其中，和是可訓(xùn)練的權(quán)重，和是偏置，代表和中的任意一個(gè)，表示矩陣點(diǎn)積乘法操作，表示sigmoid運(yùn)算，ReLU是激活函數(shù)，表示單詞嵌入層的輸出。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人吉林大學(xué)，其通訊地址為：130012 吉林省長(zhǎng)春市前進(jìn)大街2699號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。