買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉廈門大學(xué)申請(qǐng)的專利統(tǒng)一級(jí)聯(lián)的全景敘事檢測(cè)與分割方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116050409B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310130117.0，技術(shù)領(lǐng)域涉及：G06F40/289；該發(fā)明授權(quán)統(tǒng)一級(jí)聯(lián)的全景敘事檢測(cè)與分割方法是由紀(jì)榮嶸;孫曉帥;楊丹妮;王昊為;紀(jì)家沂設(shè)計(jì)研發(fā)完成，并于2023-02-17向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本統(tǒng)一級(jí)聯(lián)的全景敘事檢測(cè)與分割方法在說(shuō)明書(shū)摘要公布了：統(tǒng)一級(jí)聯(lián)的全景敘事檢測(cè)與分割方法，涉及全景敘事檢測(cè)與分割。1多模態(tài)編碼；2多模態(tài)交互；3坐標(biāo)引導(dǎo)聚合CGA；4質(zhì)心驅(qū)使定位BDL；5訓(xùn)練損失。采用基于動(dòng)態(tài)內(nèi)核的方式構(gòu)建統(tǒng)一的框架，為每個(gè)名詞短語(yǔ)構(gòu)建一個(gè)可學(xué)習(xí)的內(nèi)核，預(yù)測(cè)其對(duì)應(yīng)的掩碼和邊界框。針對(duì)預(yù)測(cè)沖突問(wèn)題，提出兩種新的級(jí)聯(lián)模塊來(lái)連續(xù)處理分割和檢測(cè)，以實(shí)現(xiàn)跨任務(wù)對(duì)齊，即坐標(biāo)引導(dǎo)聚合CGA模塊和質(zhì)心驅(qū)動(dòng)定位BDL模塊，利用分割掩碼的質(zhì)心作為錨點(diǎn)，將分割和檢測(cè)串聯(lián)連接，使兩個(gè)任務(wù)自然對(duì)齊。兩個(gè)模塊的聯(lián)合相互促進(jìn)各自性能，即掩碼的位置信息向前驅(qū)動(dòng)BDL模塊產(chǎn)生準(zhǔn)確的方框，BDL模塊的反向引導(dǎo)促進(jìn)CGA模塊在訓(xùn)練過(guò)程中區(qū)分不同實(shí)例的能力。

本發(fā)明授權(quán)統(tǒng)一級(jí)聯(lián)的全景敘事檢測(cè)與分割方法在權(quán)利要求書(shū)中公布了：1.統(tǒng)一級(jí)聯(lián)的全景敘事檢測(cè)與分割方法，其特征在于包括以下步驟： 1多模態(tài)編碼：給定一段敘事文本和圖像對(duì)，圖像經(jīng)過(guò)一個(gè)特征金字塔網(wǎng)絡(luò)提取視覺(jué)特征為Fv；敘事文本通過(guò)預(yù)訓(xùn)練的基于Trasnformer的雙向編碼器BERT表示技術(shù)提取文本中的每個(gè)詞向量，然后過(guò)濾得到其中屬于名詞短語(yǔ)的詞向量為文本特征Fp； 2多模態(tài)交互：使用文本特征FP作為卷積核在圖像特征Fv上進(jìn)行卷積得到目標(biāo)實(shí)例的掩碼M0； 3坐標(biāo)引導(dǎo)聚合CGA：對(duì)于PNS任務(wù)，有L層CGA模塊，對(duì)于第l層CGA，經(jīng)過(guò)多頭的MaskedCrossAttention得到輸出Kl，再與圖像特征Fv做卷積得到掩碼Ml；其中，注意力的具體算法是使用文本特征Kl-1作為Query，使用圖像特征Fv作為Key，在掩碼Ml-1的約束下計(jì)算得到注意力權(quán)重，然后再將Kl-1作為Value和注意力權(quán)重相乘得到最終的輸出Kl； 所述坐標(biāo)引導(dǎo)聚合的具體步驟為： 對(duì)于PNS任務(wù)，有L層CGA模塊，對(duì)于第l層CGA，經(jīng)過(guò)多頭的MaskedCrossAttention得到輸出Kl，再于圖像特征Fv做卷積得到掩碼Ml；其中，注意力的具體算法是使用文本特征Kl-1作為Query，使用圖像特征Fv作為Key，在掩碼Ml-1的約束下計(jì)算得到注意力權(quán)重Aj； 其中，τ是控制的閾值，限制文本特征和視覺(jué)特征進(jìn)行注意力交互的范圍，從而避免無(wú)關(guān)的語(yǔ)義；Ml-1∈[0,1]N×H×W表示第層的掩碼，和投影是權(quán)重矩陣，是尺度因子，j代表多頭注意力中的第j個(gè)頭h，共有8個(gè)頭； 基于這些注意力的權(quán)重，將Kl-1作為Value和注意力權(quán)重相乘，聚合多個(gè)頭的輸出來(lái)更新第l層的核特征Kl； Kl＝FFNLN[Head1,...,Headh]WO+Kl-1 文本引導(dǎo)的動(dòng)態(tài)特征核Kl在視覺(jué)特征Fv上進(jìn)行卷積得到最終的掩碼； Ml＝SigmoidKl*Fv 利用檢測(cè)生成的框來(lái)約束分割，以幫助區(qū)分不同的實(shí)例； 4質(zhì)心驅(qū)使定位BDL：對(duì)于PND任務(wù)，有L層BDL模塊，對(duì)于第l層BDL，將第l-1層的圖像特征Fv經(jīng)過(guò)一個(gè)BottleNeck模塊和Sigmoid函數(shù)，將圖像特征圖的通道數(shù)變?yōu)?，然后使用由步驟3得到的掩碼圖的質(zhì)心坐標(biāo)去索引這4張?zhí)卣鲌D上對(duì)應(yīng)點(diǎn)的像素值，作為定位框的左、頂、右、底這四個(gè)相對(duì)質(zhì)心的偏移量，得到最終的預(yù)測(cè)框； 5訓(xùn)練損失：由于NICE方法是一個(gè)統(tǒng)一全景敘事分割和全景檢測(cè)任務(wù)的級(jí)聯(lián)框架，所以在計(jì)算損失時(shí)，需要考慮分割損失和檢測(cè)損失兩部分；對(duì)于分割損失，使用BCE損失函數(shù)和Dice損失函數(shù)作為分割任務(wù)的目標(biāo)函數(shù)；對(duì)于檢測(cè)損失，使用SmoothL1損失函數(shù)和gIOU損失函數(shù)作為檢測(cè)任務(wù)的目標(biāo)函數(shù)。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人廈門大學(xué)，其通訊地址為：361005 福建省廈門市思明區(qū)思明南路422號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。