買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浙江大學(xué)申請(qǐng)的專利基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN117173226B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202311245570.2，技術(shù)領(lǐng)域涉及：G06T7/33；該發(fā)明授權(quán)基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法是由馬駿;曹思源;張潤(rùn)民;童奕澄;左偲彤;俞貝楠;應(yīng)佳成;張程浩;羅倫;沈會(huì)良;李軍偉設(shè)計(jì)研發(fā)完成，并于2023-09-25向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法，該方法首先利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)圖像和源圖像進(jìn)行特征提取，再基于自注意力機(jī)制對(duì)所述目標(biāo)圖像源圖像特征圖進(jìn)行自注意力特征修飾，并進(jìn)一步基于交叉注意力機(jī)制預(yù)測(cè)殘差配準(zhǔn)參數(shù)；循環(huán)上述過(guò)程至設(shè)定次數(shù)，對(duì)殘差配準(zhǔn)參數(shù)累加得到最終配準(zhǔn)參數(shù)，即可對(duì)源圖像進(jìn)行形變校正。本發(fā)明方法引入基于模型預(yù)測(cè)引導(dǎo)形變校正的迭代推理框架，提高模型的魯棒能力，增強(qiáng)配準(zhǔn)的精度。實(shí)驗(yàn)結(jié)果和分析證明了本發(fā)明所提出的基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法對(duì)于解決多模態(tài)圖像配準(zhǔn)問(wèn)題的有效性和優(yōu)越性。

本發(fā)明授權(quán)基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法在權(quán)利要求書(shū)中公布了：1.一種基于預(yù)測(cè)校正和匯聚注意力transformer的多模態(tài)圖像配準(zhǔn)方法，其特征在于，給定待配準(zhǔn)的多模態(tài)圖像對(duì)，所述多模態(tài)圖像對(duì)包括目標(biāo)圖像和源圖像；以目標(biāo)圖像為基準(zhǔn)，利用預(yù)測(cè)配準(zhǔn)參數(shù)對(duì)源圖像進(jìn)行形變校正；具體包括以下步驟： 1）首先分兩路利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)圖像和源圖像進(jìn)行特征提取得到目標(biāo)圖像源圖像特征圖，然后基于自注意力機(jī)制對(duì)所述目標(biāo)圖像源圖像特征圖進(jìn)行自注意力特征修飾，接著基于交叉注意力機(jī)制對(duì)自注意力特征修飾后的目標(biāo)圖像特征圖和源圖像特征圖進(jìn)行互注意力修飾，最后基于交叉注意力機(jī)制預(yù)測(cè)配準(zhǔn)參數(shù)殘差； 2）利用配準(zhǔn)參數(shù)殘差更新當(dāng)前預(yù)測(cè)配準(zhǔn)參數(shù)，然后利用當(dāng)前預(yù)測(cè)配準(zhǔn)參數(shù)對(duì)源圖像進(jìn)行形變校正；將形變校正后的源圖像替代之前的源圖像，繼續(xù)執(zhí)行步驟1），輸出下一次配準(zhǔn)參數(shù)殘差； 3）執(zhí)行步驟2）至預(yù)設(shè)迭代次數(shù)時(shí)停止，并輸出最終預(yù)測(cè)配準(zhǔn)參數(shù)； 4）利用最終輸出的預(yù)測(cè)配準(zhǔn)參數(shù)對(duì)源圖像進(jìn)行形變校正，從而實(shí)現(xiàn)多模態(tài)圖像配準(zhǔn)； 所述步驟1）中，基于自注意力機(jī)制對(duì)所述目標(biāo)圖像源圖像特征圖進(jìn)行自注意力特征修飾，接著基于交叉注意力機(jī)制對(duì)自注意力特征修飾后的目標(biāo)圖像特征圖和源圖像特征圖進(jìn)行互注意力修飾，最后基于交叉注意力機(jī)制預(yù)測(cè)配準(zhǔn)參數(shù)殘差，具體基于匯聚注意力transformer結(jié)構(gòu)實(shí)現(xiàn)，具體步驟如下： S1：分兩路利用自注意力機(jī)制對(duì)所抽取的特征進(jìn)行不同坐標(biāo)位置間的關(guān)聯(lián)性計(jì)算，實(shí)現(xiàn)自注意力特征修飾；自注意力機(jī)制的計(jì)算見(jiàn)公式（1）： ， 其中，x為目標(biāo)圖像源圖像特征圖的坐標(biāo)索引；依次為查詢矩陣、鍵矩陣和值矩陣，通過(guò)利用全連接層處理目標(biāo)圖像源圖像特征圖獲得；表示坐標(biāo)位置周圍的區(qū)域，即自注意力機(jī)制作用范圍；如果將設(shè)為整個(gè)特征圖，則為全局自注意力機(jī)制，否則為某一半徑的非全局或局部自注意力機(jī)制；在迭代過(guò)程中，自注意力機(jī)制作用范圍隨迭代次數(shù)增加而縮?。?在完成自注意力機(jī)制計(jì)算后，使用層歸一化方式處理自注意力機(jī)制計(jì)算后得到的注意力特征，并與經(jīng)特征抽取得到的目標(biāo)圖像源圖像特征圖相加，完成自注意力的特征修飾； S2：利用交叉注意力機(jī)制對(duì)自注意力特征修飾后的目標(biāo)圖像特征圖與源圖像特征圖進(jìn)行不同坐標(biāo)位置之間的關(guān)聯(lián)性計(jì)算，交叉注意力機(jī)制的計(jì)算見(jiàn)公式（2）： ， 其中，下標(biāo)和表示查詢矩陣來(lái)自其中一幅特征圖，而鍵矩陣和值矩陣來(lái)自另一幅特征圖；表示交叉注意力機(jī)制在周圍的區(qū)域，即交叉注意力機(jī)制作用范圍；如果將設(shè)為整個(gè)特征圖，則為全局交叉注意力機(jī)制，否則為某一半徑的非全局或局部交叉注意力機(jī)制；在迭代過(guò)程中，交叉注意力機(jī)制作用范圍隨迭代次數(shù)增加而縮??； 在完成交叉注意力機(jī)制計(jì)算后，使用層歸一化方式處理交叉注意力機(jī)制計(jì)算后得到的注意力特征，并與自注意力特征修飾后的目標(biāo)圖像源圖像特征圖相加，完成互注意力的特征修飾；然后利用全連接層處理互注意力修飾后的特征，并將全連接層處理后的特征與互注意力修飾后的特征相加，獲得最終的自注意力和交叉注意力修飾目標(biāo)圖像源圖像特征圖； S3：配準(zhǔn)參數(shù)殘差預(yù)測(cè)；對(duì)于所述自注意力和交叉注意力修飾目標(biāo)圖像源圖像特征圖，利用公式（2）進(jìn)行交叉注意力計(jì)算，將計(jì)算所得的交叉注意力輸入全連接層，從而輸出配準(zhǔn)參數(shù)殘差。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浙江大學(xué)，其通訊地址為：310058 浙江省杭州市西湖區(qū)余杭塘路866號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。