買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉廈門淵亭信息科技有限公司;湖南淵亭智能科技有限公司申請(qǐng)的專利一種多模態(tài)跨領(lǐng)域的問(wèn)答數(shù)據(jù)構(gòu)造方法、裝置以及設(shè)備獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120493947B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510970208.4，技術(shù)領(lǐng)域涉及：G06F40/35；該發(fā)明授權(quán)一種多模態(tài)跨領(lǐng)域的問(wèn)答數(shù)據(jù)構(gòu)造方法、裝置以及設(shè)備是由黃在斌;俞婷婷;錢智毅設(shè)計(jì)研發(fā)完成，并于2025-07-15向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種多模態(tài)跨領(lǐng)域的問(wèn)答數(shù)據(jù)構(gòu)造方法、裝置以及設(shè)備在說(shuō)明書摘要公布了：本發(fā)明公開了一種多模態(tài)跨領(lǐng)域的問(wèn)答數(shù)據(jù)構(gòu)造方法、裝置以及設(shè)備，包括：對(duì)獲取的通用領(lǐng)域圖文問(wèn)答數(shù)據(jù)中的問(wèn)題文本進(jìn)行句法分析，生成問(wèn)題模板，基于所述問(wèn)題模板構(gòu)建通用問(wèn)答模板庫(kù)；對(duì)待處理的目標(biāo)領(lǐng)域圖像數(shù)據(jù)進(jìn)行特征提取，得到圖像描述信息；通過(guò)結(jié)合所述通用問(wèn)答模板庫(kù)以及所述圖像描述信息，生成目標(biāo)領(lǐng)域問(wèn)題文本；將所述目標(biāo)領(lǐng)域問(wèn)題文本以及所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)輸入至多模態(tài)問(wèn)答模型中，生成答案文本，并將所述答案文本、所述目標(biāo)領(lǐng)域問(wèn)題文本作為目標(biāo)領(lǐng)域圖像問(wèn)答對(duì)數(shù)據(jù)。本申請(qǐng)能夠針對(duì)不同領(lǐng)域?qū)崿F(xiàn)高效、靈活且準(zhǔn)確的問(wèn)答數(shù)據(jù)的生成。

本發(fā)明授權(quán)一種多模態(tài)跨領(lǐng)域的問(wèn)答數(shù)據(jù)構(gòu)造方法、裝置以及設(shè)備在權(quán)利要求書中公布了：1.一種多模態(tài)跨領(lǐng)域的問(wèn)答數(shù)據(jù)構(gòu)造方法，其特征在于，所述方法包括： 對(duì)獲取的通用領(lǐng)域圖文問(wèn)答數(shù)據(jù)中的問(wèn)題文本進(jìn)行句法分析，生成問(wèn)題模板，基于所述問(wèn)題模板構(gòu)建通用問(wèn)答模板庫(kù)； 對(duì)待處理的目標(biāo)領(lǐng)域圖像數(shù)據(jù)進(jìn)行特征提取，得到圖像描述信息； 其中，所述對(duì)待處理的目標(biāo)領(lǐng)域圖像數(shù)據(jù)進(jìn)行特征提取，得到圖像描述信息，包括： 使用預(yù)訓(xùn)練的ResNet模型提取所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)的全局視覺(jué)特征向量，以及將所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)輸入視覺(jué)語(yǔ)言模型，生成全局描述； 通過(guò)目標(biāo)檢測(cè)模型識(shí)別所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)中的目標(biāo)區(qū)域，得到對(duì)應(yīng)各目標(biāo)區(qū)域的邊界框坐標(biāo)以及局部視覺(jué)特征向量； 對(duì)所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)進(jìn)行裁剪，得到多個(gè)裁剪區(qū)域圖像，將多個(gè)所述裁剪區(qū)域圖像輸入視覺(jué)語(yǔ)言模型，生成對(duì)應(yīng)每一所述裁剪區(qū)域圖像的多個(gè)候選描述詞； 根據(jù)多個(gè)所述候選描述詞確定對(duì)應(yīng)所述裁剪區(qū)域圖像的目標(biāo)實(shí)體名稱，并基于所述全局描述以及所述目標(biāo)實(shí)體名稱生成對(duì)應(yīng)每一所述裁剪區(qū)域圖像的區(qū)域結(jié)構(gòu)化描述； 基于所述邊界框坐標(biāo)以及所述區(qū)域結(jié)構(gòu)化描述生成視覺(jué)關(guān)系三元組，將所述全局視覺(jué)特征向量、所述全局描述、所述局部視覺(jué)特征向量以及所述視覺(jué)關(guān)系三元組作為所述圖像描述信息； 通過(guò)結(jié)合所述通用問(wèn)答模板庫(kù)以及所述圖像描述信息，生成目標(biāo)領(lǐng)域問(wèn)題文本；其中，所述通過(guò)結(jié)合所述通用問(wèn)答模板庫(kù)以及所述圖像描述信息，生成目標(biāo)領(lǐng)域問(wèn)題文本，包括： 從所述圖像描述信息中提取實(shí)體，將提取的實(shí)體按照問(wèn)題類型填充至對(duì)應(yīng)的所述問(wèn)題模板中的槽位，得到所述目標(biāo)領(lǐng)域問(wèn)題文本； 利用多模態(tài)預(yù)訓(xùn)練模型計(jì)算所述目標(biāo)領(lǐng)域問(wèn)題文本與所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)的相似度，當(dāng)相似度大于預(yù)設(shè)值時(shí)，保留所述目標(biāo)領(lǐng)域問(wèn)題文本，否則，刪除所述目標(biāo)領(lǐng)域問(wèn)題文本； 將所述目標(biāo)領(lǐng)域問(wèn)題文本以及所述目標(biāo)領(lǐng)域圖像數(shù)據(jù)輸入至多模態(tài)問(wèn)答模型中，生成答案文本，并將所述答案文本、所述目標(biāo)領(lǐng)域問(wèn)題文本作為目標(biāo)領(lǐng)域圖像問(wèn)答對(duì)數(shù)據(jù)。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人廈門淵亭信息科技有限公司;湖南淵亭智能科技有限公司，其通訊地址為：361000 福建省廈門市軟件園二期望海路61號(hào)801單元N8-01；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。