買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浪潮電子信息產(chǎn)業(yè)股份有限公司申請(qǐng)的專利事實(shí)性知識(shí)問(wèn)題的回答能力評(píng)估方法、產(chǎn)品、設(shè)備及介質(zhì)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120180060B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510668928.5，技術(shù)領(lǐng)域涉及：G06F18/21；該發(fā)明授權(quán)事實(shí)性知識(shí)問(wèn)題的回答能力評(píng)估方法、產(chǎn)品、設(shè)備及介質(zhì)是由范寶余;賈麒;魯璐;唐軼男設(shè)計(jì)研發(fā)完成，并于2025-05-23向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本事實(shí)性知識(shí)問(wèn)題的回答能力評(píng)估方法、產(chǎn)品、設(shè)備及介質(zhì)在說(shuō)明書(shū)摘要公布了：本申請(qǐng)公開(kāi)了事實(shí)性知識(shí)問(wèn)題的回答能力評(píng)估方法、產(chǎn)品、設(shè)備及介質(zhì)，涉及自然語(yǔ)言處理領(lǐng)域，包括：對(duì)歷史知識(shí)圖譜中的子圖進(jìn)行采樣，以生成事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集；將評(píng)測(cè)集和先驗(yàn)提示信息組輸入至預(yù)訓(xùn)練語(yǔ)言模型中，以對(duì)事實(shí)性知識(shí)問(wèn)題進(jìn)行推理得到多個(gè)推理回答；若多個(gè)推理回答中均不包含預(yù)設(shè)目標(biāo)字符，則利用后驗(yàn)提示信息對(duì)多個(gè)推理回答的真實(shí)性進(jìn)行檢測(cè)，若檢測(cè)結(jié)果表明多個(gè)推理回答與事實(shí)相符，則判定模型具備回答相應(yīng)問(wèn)題的能力。本申請(qǐng)通過(guò)先驗(yàn)判斷和后驗(yàn)檢查兩個(gè)階段，先對(duì)事實(shí)性知識(shí)問(wèn)題進(jìn)行推理，再對(duì)推理后的回答進(jìn)行真實(shí)性檢測(cè)，可以防止模型因幻覺(jué)導(dǎo)致的誤判，并提高了模型對(duì)事實(shí)性知識(shí)問(wèn)題的回答能力的評(píng)估效率。

本發(fā)明授權(quán)事實(shí)性知識(shí)問(wèn)題的回答能力評(píng)估方法、產(chǎn)品、設(shè)備及介質(zhì)在權(quán)利要求書(shū)中公布了：1.一種事實(shí)性知識(shí)問(wèn)題的回答能力評(píng)估方法，其特征在于，包括： 采集目標(biāo)領(lǐng)域的歷史知識(shí)圖譜，并對(duì)所述歷史知識(shí)圖譜中的子圖進(jìn)行采樣，以生成針對(duì)所述目標(biāo)領(lǐng)域的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集； 將所述事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集和預(yù)設(shè)的先驗(yàn)提示信息組輸入至預(yù)訓(xùn)練語(yǔ)言模型中，以通過(guò)線性驗(yàn)證的方式并基于所述先驗(yàn)提示信息組中的多個(gè)提示語(yǔ)句依次對(duì)所述事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集中的事實(shí)性知識(shí)問(wèn)題進(jìn)行推理，得到事實(shí)性知識(shí)問(wèn)題對(duì)應(yīng)的多個(gè)推理回答；所述線性驗(yàn)證的方式指的是模擬對(duì)話中的壓力測(cè)試場(chǎng)景，對(duì)事實(shí)性知識(shí)問(wèn)題依次使用先驗(yàn)提示語(yǔ)句逐個(gè)進(jìn)行推理的方式；所述先驗(yàn)提示信息組中的多個(gè)提示語(yǔ)句是用于提示用戶輸入的文本或指令； 若所述多個(gè)推理回答中均不包含預(yù)設(shè)目標(biāo)字符，則將所述多個(gè)推理回答和預(yù)設(shè)的后驗(yàn)提示信息輸入至所述預(yù)訓(xùn)練語(yǔ)言模型中，以利用所述后驗(yàn)提示信息對(duì)所述多個(gè)推理回答的真實(shí)性進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；所述預(yù)設(shè)目標(biāo)字符為表征所述推理回答存在異常的字符； 若所述檢測(cè)結(jié)果表明所述多個(gè)推理回答與事實(shí)相符，則判定所述預(yù)訓(xùn)練語(yǔ)言模型具備回答所述事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集中相應(yīng)事實(shí)性知識(shí)問(wèn)題的能力； 所述對(duì)所述歷史知識(shí)圖譜中的子圖進(jìn)行采樣，以生成針對(duì)所述目標(biāo)領(lǐng)域的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集，包括：基于不同的采樣規(guī)則對(duì)所述歷史知識(shí)圖譜中的子圖進(jìn)行采樣，得到多個(gè)子圖集合；對(duì)所述多個(gè)子圖集合進(jìn)行合并，得到評(píng)測(cè)子圖集合，并將所述評(píng)測(cè)子圖集合輸入至預(yù)先創(chuàng)建的事實(shí)性知識(shí)問(wèn)題生成模版中，以構(gòu)建覆蓋所述評(píng)測(cè)子圖集合的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集； 所述基于不同的采樣規(guī)則對(duì)所述歷史知識(shí)圖譜中的子圖進(jìn)行采樣，得到多個(gè)子圖集合，包括：基于高頻知識(shí)采樣策略和長(zhǎng)尾知識(shí)采樣策略對(duì)所述歷史知識(shí)圖譜中的子圖進(jìn)行采樣，得到高頻子圖集合和長(zhǎng)尾子圖集合；其中，所述高頻知識(shí)采樣策略為將知識(shí)圖譜中各個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)度數(shù)排名前預(yù)設(shè)數(shù)量的節(jié)點(diǎn)作為高頻知識(shí)節(jié)點(diǎn)的采樣策略；所述長(zhǎng)尾知識(shí)采樣策略為將子圖熵值大于預(yù)設(shè)熵值的位于知識(shí)圖譜的子圖中的節(jié)點(diǎn)作為長(zhǎng)尾知識(shí)節(jié)點(diǎn)的采樣策略；所述長(zhǎng)尾知識(shí)采樣策略依據(jù)的是圖熵，用于捕獲低頻但關(guān)鍵的多樣化知識(shí)，高熵值的子圖中包含更多低頻但多樣化的節(jié)點(diǎn)，代表長(zhǎng)尾知識(shí)； 所述對(duì)所述多個(gè)子圖集合進(jìn)行合并，得到評(píng)測(cè)子圖集合，并將所述評(píng)測(cè)子圖集合輸入至預(yù)先創(chuàng)建的事實(shí)性知識(shí)問(wèn)題生成模版中，以構(gòu)建覆蓋所述評(píng)測(cè)子圖集合的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集，包括：對(duì)所述高頻子圖集合和所述長(zhǎng)尾子圖集合進(jìn)行合并，得到評(píng)測(cè)子圖集合，并將所述評(píng)測(cè)子圖集合輸入至預(yù)先創(chuàng)建的事實(shí)性知識(shí)問(wèn)題生成模版中，以構(gòu)建覆蓋所述評(píng)測(cè)子圖集合的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集； 所述事實(shí)性知識(shí)問(wèn)題生成模版的類型包括直接提問(wèn)類型、三元組掩碼類型和路徑查詢類型；其中，所述直接提問(wèn)類型為基于知識(shí)圖譜中的三元組直接生成問(wèn)題的類型；所述三元組掩碼類型為通過(guò)隨機(jī)掩碼頭實(shí)體或尾實(shí)體生成填空題的類型；所述路徑查詢類型為提取長(zhǎng)度小于或等于預(yù)設(shè)長(zhǎng)度的關(guān)系路徑，并基于所述關(guān)系路徑生成多跳推理問(wèn)題的類型； 所述將所述評(píng)測(cè)子圖集合輸入至預(yù)先創(chuàng)建的事實(shí)性知識(shí)問(wèn)題生成模版中，以構(gòu)建覆蓋所述評(píng)測(cè)子圖集合的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集，包括：將所述評(píng)測(cè)子圖集合輸入至預(yù)先創(chuàng)建的包含直接提問(wèn)類型、三元組掩碼類型和路徑查詢類型的事實(shí)性知識(shí)問(wèn)題生成模版中，以按照預(yù)設(shè)生成比例生成與所述直接提問(wèn)類型、所述三元組掩碼類型和所述路徑查詢類型對(duì)應(yīng)數(shù)量的問(wèn)題，得到覆蓋所述評(píng)測(cè)子圖集合的事實(shí)性知識(shí)問(wèn)題評(píng)測(cè)集；其中，所述評(píng)測(cè)子圖集合中各子圖生成的問(wèn)題的數(shù)量是基于相應(yīng)子圖的節(jié)點(diǎn)數(shù)目確定的，且所述高頻子圖集合生成的問(wèn)題的數(shù)量與所述長(zhǎng)尾子圖集合生成的問(wèn)題的數(shù)量的比值為預(yù)設(shè)數(shù)值； 所述將所述多個(gè)推理回答和預(yù)設(shè)的后驗(yàn)提示信息輸入至所述預(yù)訓(xùn)練語(yǔ)言模型中，以利用所述后驗(yàn)提示信息對(duì)所述多個(gè)推理回答的真實(shí)性進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果，包括：將所述多個(gè)推理回答和預(yù)設(shè)的第一后驗(yàn)提示信息輸入至所述預(yù)訓(xùn)練語(yǔ)言模型中，以基于所述第一后驗(yàn)提示信息將所述多個(gè)推理回答整合為一段文本，得到整合后文本；將所述整合后文本和預(yù)設(shè)的第二后驗(yàn)提示信息輸入至所述預(yù)訓(xùn)練語(yǔ)言模型中，以基于所述第二后驗(yàn)提示信息對(duì)所述整合后文本的真實(shí)性進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浪潮電子信息產(chǎn)業(yè)股份有限公司，其通訊地址為：250014 山東省濟(jì)南市高新區(qū)草山嶺南路801號(hào)9層?xùn)|側(cè)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。