買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉東北大學(xué)申請(qǐng)的專利一種同時(shí)分割和檢測(cè)抓取位姿的多模態(tài)特征融合方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116385546B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310579747.6，技術(shù)領(lǐng)域涉及：G06T7/73；該發(fā)明授權(quán)一種同時(shí)分割和檢測(cè)抓取位姿的多模態(tài)特征融合方法是由張?jiān)浦?劉曉正;曹赫;單德興;趙家奇設(shè)計(jì)研發(fā)完成，并于2023-05-23向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種同時(shí)分割和檢測(cè)抓取位姿的多模態(tài)特征融合方法在說(shuō)明書摘要公布了：本發(fā)明提供一種同時(shí)分割和檢測(cè)抓取位姿的多模態(tài)特征融合方法，涉及機(jī)器人抓取位姿檢測(cè)技術(shù)領(lǐng)域。本發(fā)明設(shè)計(jì)了一種點(diǎn)云圖像協(xié)同指導(dǎo)的融合模塊，模塊不僅能夠融合點(diǎn)云和圖像特征，還能突出其中關(guān)鍵的特征對(duì)并抑制非感興趣區(qū)域的特征。算法的預(yù)測(cè)過(guò)程從對(duì)融合特征進(jìn)行前景點(diǎn)分割開始，然后設(shè)計(jì)一種同時(shí)考慮語(yǔ)義信息、距離信息、抓取置信度的種子點(diǎn)采樣算法，生成質(zhì)量更高的種子點(diǎn)。然后根據(jù)選定的種子點(diǎn)進(jìn)行抓取位姿預(yù)測(cè)。本發(fā)明能夠充分利用點(diǎn)云和圖像信息，通過(guò)多模態(tài)特征來(lái)促進(jìn)分割和抓取檢測(cè)的性能，以服務(wù)于服務(wù)機(jī)器人、工業(yè)機(jī)器人等應(yīng)用場(chǎng)景。

本發(fā)明授權(quán)一種同時(shí)分割和檢測(cè)抓取位姿的多模態(tài)特征融合方法在權(quán)利要求書中公布了：1.一種同時(shí)分割和檢測(cè)抓取位姿的多模態(tài)特征融合方法，其特征在于，包括以下步驟： 步驟1：使用雙流骨干網(wǎng)絡(luò)分別提取點(diǎn)云和圖像特征； 步驟2：設(shè)計(jì)協(xié)同指導(dǎo)的點(diǎn)云-圖像特征融合模塊，進(jìn)行點(diǎn)云-圖像特征融合； 所述點(diǎn)云-圖像特征融合模塊的輸入是點(diǎn)云特征Fpoint和圖像特征Fimage，它們的大小分別是N×512和N×128，經(jīng)過(guò)點(diǎn)云-圖像特征融合模塊后輸出的融合特征大小Ffusion為N×512； 所述協(xié)同指導(dǎo)的點(diǎn)云-圖像特征融合模塊的具體設(shè)計(jì)步驟如下： 步驟S1：設(shè)計(jì)兩個(gè)并行的全連接層FullyConnectedlayer，即FC，分別用于壓縮點(diǎn)云和圖像特征的通道數(shù)； 步驟S2：進(jìn)行特征圖拼接操作，將壓縮通道數(shù)的點(diǎn)云和圖像特征進(jìn)行拼接； 步驟S3：拼接操作后，使用一個(gè)全連接層再次將拼接的特征進(jìn)行融合，形成了協(xié)同指導(dǎo)的基礎(chǔ)； 步驟S4：由一個(gè)最大池化層maxpoolinglayer和sigmoid激活函數(shù)對(duì)融合特征進(jìn)行歸一化，得到表示點(diǎn)云、圖像特征對(duì)重要性的注意力分?jǐn)?shù)AttentionScores； 步驟S5：得到注意分?jǐn)?shù)AttentionScores后，使用注意力分?jǐn)?shù)對(duì)原始的特征，即雙流骨干網(wǎng)絡(luò)輸出的特征Fpoint和Fimage進(jìn)行相乘加權(quán)操作，抑制非感興趣區(qū)域特征并突出重要特征； 步驟S6：對(duì)加權(quán)后的特征對(duì)重新拼接，然后由一個(gè)新的全連接層進(jìn)行再次融合，得到最終的融合特征Ffusion； 所述點(diǎn)云-圖像特征融合具體公式為： 其中AttenS為AttentionScores縮寫，是表示每個(gè)特征對(duì)重要性的注意力分?jǐn)?shù)，F(xiàn)fusion表示最終融合的特征，σ表示Sigmoid激活函數(shù)，Max表示最大池化操作，MLP表示全連接層，表示神經(jīng)網(wǎng)絡(luò)中的特征拼接操作，表示乘法操作； 步驟3：設(shè)計(jì)種子點(diǎn)采樣算法，生成種子點(diǎn)； 所述步驟3具體包括以下步驟： 步驟3.1：執(zhí)行前景-背景分割；將融合特征FfusionN×512作為輸入，MLP輸出分類分?jǐn)?shù)N×2，2代表該點(diǎn)屬于前景和背景的概率，前景概率大于背景概率，則認(rèn)為是該點(diǎn)是前景點(diǎn)，屬于前景區(qū)域，使用FocalLoss作為任務(wù)的損失函數(shù)； 步驟3.2：設(shè)計(jì)一種同時(shí)考慮距離、語(yǔ)義和重要性的采樣算法，即種子點(diǎn)采樣算法，獲取種子點(diǎn)； 步驟3.2.1：使用最遠(yuǎn)點(diǎn)采樣算法FPS對(duì)前景區(qū)域的點(diǎn)進(jìn)行降采樣；假設(shè)分割得到K個(gè)前景點(diǎn)，算法使用最遠(yuǎn)點(diǎn)采樣從K個(gè)前景點(diǎn)中生成λn個(gè)候選點(diǎn)； 步驟3.2.2：使用步驟2中的點(diǎn)云-圖像特征融合模塊的注意力分?jǐn)?shù)AttenS對(duì)候選點(diǎn)進(jìn)行排序；上一步中獲得了λn個(gè)候選點(diǎn)，然后根據(jù)注意力分?jǐn)?shù)AttenS對(duì)λn個(gè)候選點(diǎn)排序； 步驟3.2.3：選擇候選點(diǎn)中注意力得分最高的前n個(gè)點(diǎn)作為種子點(diǎn)； 步驟4：基于步驟3生成的種子點(diǎn)進(jìn)行6自由度抓取位姿預(yù)測(cè)。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人東北大學(xué)，其通訊地址為：110819 遼寧省沈陽(yáng)市和平區(qū)文化路3號(hào)巷11號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。