買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浙江工業(yè)大學(xué)申請(qǐng)的專利一種基于注意力機(jī)制的托盤(pán)位姿估計(jì)方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN117036654B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310809075.3，技術(shù)領(lǐng)域涉及：G06V10/10；該發(fā)明授權(quán)一種基于注意力機(jī)制的托盤(pán)位姿估計(jì)方法是由高飛;程愛(ài)玲;任海華;翁立波;程振波;張?jiān)Q設(shè)計(jì)研發(fā)完成，并于2023-07-04向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于注意力機(jī)制的托盤(pán)位姿估計(jì)方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)一種基于注意力機(jī)制的托盤(pán)位姿估計(jì)方法，具體是一種面向移動(dòng)叉車的托盤(pán)檢測(cè)及方向估計(jì)方法，可用于引導(dǎo)叉車接近目標(biāo)托盤(pán)。主要包括，采用RGB?D深度相機(jī)采集托盤(pán)圖像，采用含有注意力機(jī)制的實(shí)例分割方法進(jìn)行托盤(pán)區(qū)域檢測(cè)，獲得托盤(pán)圖像的掩模信息；并根據(jù)掩模信息以及二維圖像與三維點(diǎn)云的對(duì)應(yīng)關(guān)系提取托盤(pán)的點(diǎn)云數(shù)據(jù)；根據(jù)托盤(pán)點(diǎn)云數(shù)據(jù)，采用基于主成分分析的方法計(jì)算托盤(pán)前端面的法向量，從而獲得托盤(pán)的相對(duì)于叉車的位姿；本發(fā)明采用含有注意力機(jī)制的實(shí)例分割方法，檢測(cè)圖像中的托盤(pán)區(qū)域，并分割出托盤(pán)的點(diǎn)云數(shù)據(jù)，提高了托盤(pán)分割的準(zhǔn)確性和叉車引導(dǎo)的效率。

本發(fā)明授權(quán)一種基于注意力機(jī)制的托盤(pán)位姿估計(jì)方法在權(quán)利要求書(shū)中公布了：1.一種基于注意力機(jī)制的托盤(pán)位姿估計(jì)方法，其特征在于，包括如下步驟： 步驟1：數(shù)據(jù)采集，將RGB-D相機(jī)安裝在叉車前端，獲得圖像I、點(diǎn)云集合S；以及圖像I與點(diǎn)云集合S的對(duì)應(yīng)集合IS；其中，圖像I＝{ruv,guv,buv|u＝1,2,...,H；v＝1,2,...,W}，W表示圖像I的寬度，H表示圖像I的高度，CH表示圖像I的通道數(shù)，ruv,guv,buv表示圖像I中第u行、第v列像素的R、G和B的值；點(diǎn)云集合S＝{xi,yi,zi|i＝1,2,...,U}，U表示點(diǎn)云集合S中的點(diǎn)的數(shù)目；對(duì)應(yīng)集合IS＝{ui,vi|i＝1,2,...,U}，ui,vi表示點(diǎn)云集合S中第i個(gè)點(diǎn)對(duì)應(yīng)圖像I中第u行、第v列的像素； 步驟2：托盤(pán)分割，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)托盤(pán)樣本圖像進(jìn)行訓(xùn)練，得到訓(xùn)練好的托盤(pán)檢測(cè)網(wǎng)絡(luò)模型MP，利用托盤(pán)檢測(cè)網(wǎng)絡(luò)模型MP提取托盤(pán)區(qū)域，實(shí)現(xiàn)托盤(pán)圖像的分割，具體為： 步驟2.1：卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建，在MaskR-CNN模型的基礎(chǔ)上進(jìn)行修改，包括主干網(wǎng)絡(luò)的特征提取、含注意力機(jī)制的多尺度特征整合、區(qū)域建議網(wǎng)絡(luò)、區(qū)域特征對(duì)齊、分支預(yù)測(cè)網(wǎng)絡(luò)以及損失函數(shù)的設(shè)計(jì)； 步驟2.1.1：主干網(wǎng)絡(luò)特征提取，采用標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)ResNet作為主干網(wǎng)絡(luò)進(jìn)行特征提取，獲得托盤(pán)特征C1； 步驟2.1.2：含注意力機(jī)制的多尺度特征整合，在FPN中添加注意力機(jī)制模塊A獲得多層次特征預(yù)測(cè)； 在FPN的自下而上的網(wǎng)絡(luò)中，獲得多層次的特征向量C2、C3、C4、C5；在FPN橫向連接中添加注意力機(jī)制模塊A；在FPN的自上而下的網(wǎng)絡(luò)中，對(duì)特征C5、以及注意力機(jī)制模塊的輸出特征M4和M3進(jìn)行上采樣操作up，最終獲得含注意力信息的中間特征向量M5,M4,M3,M2；在FPN的卷積融合中，對(duì)特征集合{M2,M3,M4,M5}中各特征向量分別進(jìn)行conv卷積操作得到最終的預(yù)測(cè)，獲得特征向量集合{P2,P3,P4,P5}，分別對(duì)應(yīng)于特征集合{C2,C3,C4,C5}；其中，注意力機(jī)制模型A具體包括： 步驟2.1.2.1：注意力機(jī)制模塊輸入：以特征向量Ci與特征向量Mi+1時(shí)輸入到注意力模塊； 步驟2.1.2.2：對(duì)特征向量Ci與特征向量Mi+1進(jìn)行拼接，獲得特征向量AConv，如式1所示： AConv＝concatCi,up2Mi+11 其中，concat·表示拼接函數(shù)，up2表示up上采樣函數(shù)，AConv的大小為w*h*c1+c2；其中，c1表示Ci特征向量的通道數(shù)，c2表示特征向量Mi+1的通道數(shù)； 步驟2.1.2.3：對(duì)特征向量AConv進(jìn)行conv_1卷積操作獲得特征層AConv1，如式2所示： 其中，ωc2,1×1表示conv_1卷積操作函數(shù)，該卷積操作的核為1×1，通道數(shù)c為c2，AConv1的大小為w*h*c2； 步驟2.1.2.4：對(duì)特征AConv1進(jìn)行分別進(jìn)行ReLU函數(shù)、conv_2卷積函數(shù)和Sigmoid函數(shù)操作獲得特征層Asig，如式3所示： ASig＝σωc1,1×1ReLUAConv13 其中，ReLU·表示ReLU函數(shù)，ωc,1×1表示conv_2卷積操作函數(shù)，該卷積操作的核為1×1，通道數(shù)c為c1，σ·表示Sigmoid激活函數(shù)，則特征向量Asig的大小為w*h*c1； 步驟2.1.2.5：將Asig和Mi+1兩個(gè)特征矩陣相乘，獲得注意力模塊的輸出特征向量Mi，如式4所示： 其中，Mi特征大小為w×h，通道數(shù)為c1； 步驟2.1.2.6：對(duì)注意力模塊的輸出特征向量Mi進(jìn)行conv的卷積操作，獲得含注意力機(jī)制的AFPN網(wǎng)絡(luò)的輸出特征Pi，如式5所示： Pi＝ωc,3×3Mi5 其中，ωc,3×3表示conv卷積操作函數(shù)，該卷積操作的核為3×3，通道數(shù)c為c1，Pi特征層的大小為w*h*c1； 步驟2.1.3：區(qū)域建議網(wǎng)絡(luò)，根據(jù)特征輸出Pi生成建議區(qū)域，進(jìn)行特征提取； 步驟2.1.4：區(qū)域特征對(duì)齊網(wǎng)絡(luò)，進(jìn)行特征圖不同點(diǎn)采樣，并應(yīng)用雙線性插值獲取尺寸為7*7的感興趣區(qū)域； 步驟2.1.5：分支預(yù)測(cè)網(wǎng)絡(luò)，獲取邊界區(qū)域信息、類別信息和掩膜集合B，B＝{buv|u＝1,2,…,H,v＝1,2,…,W}，對(duì)于集合B中的任意元素buv表示圖像I中第u行、第v列的像素是否為托盤(pán)區(qū)域，buv＝1表示為托盤(pán)區(qū)域，否則為非托盤(pán)區(qū)域； 步驟2.1.6：損失函數(shù)的設(shè)計(jì)如式6所示： Loss＝Lcls+Lbbox+Lmask6 其中，Lcls表示目標(biāo)的分類損失值，Lbbox表示邊界區(qū)域的回歸損失值，Lmask表示掩模的損失值； 步驟2.2：卷積網(wǎng)絡(luò)的訓(xùn)練，采用MSCOCO數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，在預(yù)訓(xùn)練模型的基礎(chǔ)上，利用所述的RGB-D相機(jī)采集的托盤(pán)圖像構(gòu)成數(shù)據(jù)集，在該數(shù)據(jù)集基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)，得到托盤(pán)檢測(cè)模型M，其中，訓(xùn)練工具為pytorch，優(yōu)化器為SGD； 步驟2.3：托盤(pán)分割，對(duì)于輸入卷積神經(jīng)網(wǎng)絡(luò)的任意圖像I，獲得輸出的掩模圖像B，根據(jù)圖像I與點(diǎn)云數(shù)據(jù)集合S中的對(duì)應(yīng)關(guān)系集合IS，獲得托盤(pán)點(diǎn)云數(shù)據(jù)集合SS，具體步驟包括： 步驟2.3.1：遍歷掩膜集合B中元素buv，對(duì)于滿足buv＝1的標(biāo)識(shí)u和v記為u*和v*； 步驟2.3.2：遍歷圖像與點(diǎn)云對(duì)應(yīng)關(guān)系集合IS，將集合IS中所有滿足式7的元素i構(gòu)成托盤(pán)點(diǎn)云標(biāo)識(shí)集合并記作集合F＝{fj|j＝1,2,...,V}； 其中，V表示集合F中元素個(gè)數(shù)，即托盤(pán)像素點(diǎn)的個(gè)數(shù)； 步驟2.3.3：遍歷集合F和點(diǎn)云集合S，將集合S中所有滿足式8的三元組xi,yi,zi構(gòu)成托盤(pán)點(diǎn)云集合并記作SS＝{xk,yk,zk|k＝1,2,...,K}； 其中，K表示托盤(pán)點(diǎn)云集合SS中點(diǎn)的數(shù)目； 步驟3：托盤(pán)位姿估計(jì)，采用主成分分析估計(jì)點(diǎn)云集合SS的法向量，并根據(jù)如式9計(jì)算托盤(pán)的具體位姿： 其中，xk∈SX、yk∈SY、zk∈SD、xk,yk,zk∈SS、SX＝{xk|i＝1,2,...,K}、SY＝{yk|i＝1,2,...,K}、SD＝{zk|i＝1,2,...,K}，SX、SY和SD是從點(diǎn)云集合SS中提取的x，y和z方向坐標(biāo)值的集合，K表示點(diǎn)云集合SS中點(diǎn)的數(shù)目，V·代表基于主成分分析的法向量函數(shù)，d,l,s分別表示托盤(pán)前端面中心點(diǎn)相對(duì)于叉車的相對(duì)位置，θ表示托盤(pán)前端面相對(duì)于叉車的朝向姿態(tài)。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浙江工業(yè)大學(xué)，其通訊地址為：310014 浙江省杭州市拱墅區(qū)潮王路18號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。