買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉電子科技大學(xué)申請(qǐng)的專利一種基于多模態(tài)的智慧樓宇知識(shí)抽取模型和方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116737897B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310682968.6，技術(shù)領(lǐng)域涉及：G06N5/025；該發(fā)明授權(quán)一種基于多模態(tài)的智慧樓宇知識(shí)抽取模型和方法是由吳曉華;趙翊含;朱芩葉設(shè)計(jì)研發(fā)完成，并于2023-06-09向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于多模態(tài)的智慧樓宇知識(shí)抽取模型和方法在說明書摘要公布了：本發(fā)明提供了一種基于多模態(tài)的智慧樓宇知識(shí)抽取模型和方法，屬于自然語言處理技術(shù)領(lǐng)域，以解決現(xiàn)有技術(shù)的信息抽取面臨數(shù)據(jù)質(zhì)量、規(guī)模和任務(wù)復(fù)雜性的限制的問題，其包括：門控模塊、數(shù)據(jù)生成模塊、數(shù)據(jù)分流模塊和模態(tài)信息抽取模塊，門控模塊主要負(fù)責(zé)編碼原始輸入數(shù)據(jù)，并決定后續(xù)數(shù)據(jù)處理模塊；數(shù)據(jù)生成模塊主要負(fù)責(zé)對(duì)單視覺模態(tài)數(shù)據(jù)生成相應(yīng)的文本描述；數(shù)據(jù)分流模塊主要負(fù)責(zé)根據(jù)視覺?文本多模態(tài)數(shù)據(jù)間的匹配程度來為多模態(tài)數(shù)據(jù)選擇不同的信息抽取模型；模態(tài)信息抽取模塊主要負(fù)責(zé)抽取輸入信息中的知識(shí)。本發(fā)明實(shí)現(xiàn)了一個(gè)靈活、準(zhǔn)確而全面的智慧樓宇信息抽取模型，各功能模塊相互獨(dú)立，能夠?qū)崿F(xiàn)較高的性能，可以實(shí)現(xiàn)不同類型輸入的信息抽取。

本發(fā)明授權(quán)一種基于多模態(tài)的智慧樓宇知識(shí)抽取模型和方法在權(quán)利要求書中公布了：1.一種基于多模態(tài)的智慧樓宇知識(shí)抽取方法，其特征在于，包括： 通過門控模塊對(duì)原始輸入數(shù)據(jù)進(jìn)行處理，得到數(shù)據(jù)嵌入向量表示并進(jìn)行編碼，根據(jù)原始輸入數(shù)據(jù)的不同類型選擇將數(shù)據(jù)輸入數(shù)據(jù)生成模塊、數(shù)據(jù)分流模塊或模態(tài)信息抽取模塊； 通過數(shù)據(jù)生成模塊進(jìn)行執(zhí)行數(shù)據(jù)生成，對(duì)門控模塊編碼后的單視覺模態(tài)數(shù)據(jù)執(zhí)行文本生成任務(wù)，得到圖文對(duì)數(shù)據(jù)并輸入到模態(tài)信息抽取模塊； 通過數(shù)據(jù)分流模塊對(duì)數(shù)據(jù)質(zhì)量篩選，對(duì)門控模塊編碼后的視覺-文本多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量區(qū)分，選擇將其輸入模態(tài)信息抽取模塊的單模態(tài)信息抽取模塊或多模態(tài)信息抽取模塊； 通過模態(tài)信息抽取模塊進(jìn)行執(zhí)行信息抽取，對(duì)門控模塊編碼后的單文本模態(tài)數(shù)據(jù)進(jìn)行信息抽取，對(duì)經(jīng)過門控模塊和數(shù)據(jù)生成模塊的單視覺模態(tài)數(shù)據(jù)進(jìn)行信息抽取，對(duì)經(jīng)過門控模塊和數(shù)據(jù)分流模塊的視覺-文本多模態(tài)數(shù)據(jù)進(jìn)行信息抽取； 所述通過數(shù)據(jù)分流模塊對(duì)數(shù)據(jù)質(zhì)量篩選，對(duì)門控模塊編碼后的視覺-文本多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量區(qū)分，選擇將其輸入模態(tài)信息抽取模塊的單模態(tài)信息抽取模塊或多模態(tài)信息抽取模塊的具體步驟如下: C1、將門控模塊輸出的視覺-文本多模態(tài)數(shù)據(jù)編碼信息輸入分類器層，分析兩向量之間的相似度特征，輸出視覺-文本多模態(tài)數(shù)據(jù)適合于多模態(tài)信息聯(lián)合抽取的概率，具體為： C101、為使分類任務(wù)訓(xùn)練更有效，采用hardnegative采樣策略，采樣與正樣本最接近的負(fù)樣本，并維護(hù)一個(gè)大小為M的負(fù)樣本隊(duì)列； C102、對(duì)視覺模態(tài)編碼信息和文本模態(tài)編碼信息進(jìn)行對(duì)比學(xué)習(xí)，學(xué)習(xí)如下相似函數(shù): 其中，gv和gt是將模態(tài)信息的聯(lián)合表示嵌入映射成為規(guī)范化的低緯度表示的線性變換，g′vv′cls和g′tt′cls為來自動(dòng)量編碼器的特征表示，進(jìn)一步根據(jù)相似性定義出圖-文文-圖相關(guān)性，計(jì)算公式如下： 其中，τ是溫度系數(shù)為可訓(xùn)練的超參數(shù)，N為訓(xùn)練樣本批次大小； C103、將經(jīng)過對(duì)比學(xué)習(xí)的視覺模態(tài)數(shù)據(jù)與文本模態(tài)編碼數(shù)據(jù)送入帶有softmax的全連接層進(jìn)行分類，以判斷圖像文本對(duì)是否匹配； C104、訓(xùn)練階段以ITM任務(wù)為目標(biāo)進(jìn)行訓(xùn)練，ITM損失函數(shù)如下 其中，yitm是一個(gè)二維的獨(dú)熱向量表示,表示真實(shí)相似度，正樣本概率為1，負(fù)樣本概率為0，H表示交叉熵函數(shù)； C105、輸出視覺模態(tài)數(shù)據(jù)與文本模態(tài)數(shù)據(jù)相匹配的概率p； C2、根據(jù)輸出的概率值，將視覺-文本多模態(tài)數(shù)據(jù)送入模態(tài)信息抽取模塊中對(duì)應(yīng)的單模態(tài)信息抽取模塊或多模態(tài)信息抽取模塊，具體為： C201、以視覺文本模態(tài)信息匹配的概率作為執(zhí)行多模態(tài)信息聯(lián)合抽取的標(biāo)準(zhǔn)，認(rèn)為匹配概率大于不匹配概率時(shí)，數(shù)據(jù)在多模態(tài)信息聯(lián)合抽取模型下表現(xiàn)情況更好，反之，則在單模態(tài)信息抽取模型下表現(xiàn)更好； C202、在訓(xùn)練階段，每份數(shù)據(jù)以概率p和1-p選擇執(zhí)行多模態(tài)信息聯(lián)合抽取和單模態(tài)信息抽取； C203、在訓(xùn)練階段，選擇執(zhí)行單模態(tài)信息抽取的圖文數(shù)據(jù)對(duì)將進(jìn)行拆分，圖片模態(tài)數(shù)據(jù)饋送至數(shù)據(jù)生成模塊，生成新的圖文模態(tài)數(shù)據(jù)對(duì)，文本模態(tài)數(shù)據(jù)直接饋送至模態(tài)信息抽取模塊執(zhí)行信息抽取； C204、在使用階段，在概率輸出之上采取了一種采樣策略，具體來講，將輸出概率p0.5的數(shù)據(jù)分類標(biāo)簽標(biāo)為“1”，其余數(shù)據(jù)標(biāo)簽標(biāo)為“0”，標(biāo)簽為“1”的數(shù)據(jù)選擇執(zhí)行多模態(tài)信息聯(lián)合抽取，標(biāo)簽為“0”的數(shù)據(jù)選擇執(zhí)行單模態(tài)信息抽取； C205、在使用階段，選擇執(zhí)行單模態(tài)信息抽取的圖文數(shù)據(jù)對(duì)舍棄圖片模態(tài)數(shù)據(jù)，僅將文本模態(tài)信息送入模態(tài)信息抽取模塊執(zhí)行單模態(tài)信息抽取； C206、選擇執(zhí)行多模態(tài)信息聯(lián)合抽取的圖文數(shù)據(jù)，將饋送至模態(tài)信息抽取模塊首先執(zhí)行圖文信息交互。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人電子科技大學(xué)，其通訊地址為：610000 四川省成都市高新區(qū)（西區(qū)）西源大道2006號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。