買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉重慶郵電大學(xué)申請的專利一種基于注意力的多項選擇機器閱讀理解方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN116467409B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202310446289.9，技術(shù)領(lǐng)域涉及：G06F16/334；該發(fā)明授權(quán)一種基于注意力的多項選擇機器閱讀理解方法是由孫開偉;段雨辰;紀志陽;李奕佳;曾雅苑設(shè)計研發(fā)完成，并于2023-04-24向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于注意力的多項選擇機器閱讀理解方法在說明書摘要公布了：本發(fā)明屬于自然語言處理領(lǐng)域，具體涉及一種基于注意力的多項選擇機器閱讀理解方法，包括：采用句子選擇數(shù)據(jù)集S對中文預(yù)訓(xùn)練模型BERT?wwm?ext進行增量訓(xùn)練，得到繼續(xù)預(yù)訓(xùn)練模型D；引入多頭注意力機制融合選項信息，問題與文章信息，增強模型回答的正確率；采用權(quán)重移動平均的方式對模型參數(shù)進行調(diào)優(yōu)；本發(fā)明通過對預(yù)訓(xùn)練模型BERT?wwm?ext進行繼續(xù)預(yù)訓(xùn)練，使得模型更加適應(yīng)橫向領(lǐng)域，同時多頭注意力機制的引入可以充分利用文章、問題和選項之間的信息，再通過權(quán)重移動平均優(yōu)化模型參數(shù)，使模型更加準(zhǔn)確的回答閱讀理解的問題。

本發(fā)明授權(quán)一種基于注意力的多項選擇機器閱讀理解方法在權(quán)利要求書中公布了：1.一種基于注意力的多項選擇機器閱讀理解方法，其特征在于，包括： S1：獲取閱讀理解數(shù)據(jù)，將閱讀理解數(shù)據(jù)劃分為多項選擇數(shù)據(jù)集和句子選擇數(shù)據(jù)集； S2：將句子選擇數(shù)據(jù)集中的文章問題和選項進行二次掩碼操作，將掩碼后的數(shù)據(jù)輸入到BERT-wwm-ext預(yù)訓(xùn)練模型中進行增量訓(xùn)練，得到預(yù)訓(xùn)練模型D； 對BERT-wwm-ext預(yù)訓(xùn)練模型中進行增量訓(xùn)練的過程包括：句子選擇數(shù)據(jù)輸入BERT-wwm-ext模型進行一輪迭代預(yù)訓(xùn)練，得到預(yù)訓(xùn)練模型M；隨機選取選項中的詞語，使用[MASK]掩碼遮蓋，并將正確答案句子填入文章，將mask的詞語作為選項，得到新的文本數(shù)據(jù)；重復(fù)上述過程，將所有的新數(shù)據(jù)文本輸入到模型M得到當(dāng)前預(yù)訓(xùn)練模型D； 對BERT-wwm-ext模型進行迭代訓(xùn)練的過程包括：給定一個段落P和n個選項a1,a2...an，用詞匯表[unusedNum]中的特殊標(biāo)簽替換P中的空格，其中Num范圍從0到空格數(shù)減去1；對于答案選項中的每個ai，將ai和帶有標(biāo)簽[SEP]的P連接起來作為輸入序列；將長度為l的輸入序列輸入到BERT中，并通過權(quán)重移動平均優(yōu)化方法對模型的學(xué)習(xí)率進行衰減，得到一個隱藏的表示將H和可訓(xùn)練參數(shù)進行點積得到當(dāng)前選項出現(xiàn)空白的概率t通過softmax進行對數(shù)計算，并選擇概率最大的選項作為空白的預(yù)測； S3：在預(yù)訓(xùn)練模型D中加入多頭注意力機制，計算多項選擇數(shù)據(jù)集中每個選項之間相互注意力權(quán)重aij，得到選項的注意力輸出向量Attentionaij； S4：通過門控通道注意力機制將注意力輸出向量融入原始的選項表示中，得到候選選項集合options； S5：對選項與文章中的每個句子進行相似度匹配檢測，對問題與文章中的每個句子進行相似度匹配檢測，保留文章與選項以及問題相關(guān)性最高的k個句子，將k個句子組合成文章P’； S6：根據(jù)候選選項集合options、文章P’以及問題構(gòu)建全連接信息，通過構(gòu)建的全連接線性層去預(yù)測問題最后的答案。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人重慶郵電大學(xué)，其通訊地址為：400065 重慶市南岸區(qū)南山街道崇文路2號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。