買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉西北工業大學申請的專利雙臂協同視覺聯合感知的空間目標抓取點智能快速定位方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115723123B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211299547.7，技術領域涉及：B25J9/16；該發明授權雙臂協同視覺聯合感知的空間目標抓取點智能快速定位方法是由羅建軍;曹姝清;王明明;余敏設計研發完成，并于2022-10-23向國家知識產權局提交的專利申請。

本雙臂協同視覺聯合感知的空間目標抓取點智能快速定位方法在說明書摘要公布了：本發明涉及一種雙臂協同視覺聯合感知的空間目標抓取點智能快速定位方法，對空間非合作目標對接環的智能識別、分割與抓取位置的精確定位，其包含以下步驟：全局目標智能自主識別與實例分割；視覺聯合感知的目標局部輪廓快速精確分割；視覺引導的雙臂協同目標抓取點動態精確定位，實現雙臂協同視覺聯合感知的空間目標對接環的智能自主識別、分割與目標抓取位置的快速穩定獲取。本發明解決了機械臂在軌抓捕和部件拆卸精細操作等在軌服務與操控任務中空間非合作目標對接環的智能自主識別、分割與目標抓取位置的快速穩定獲取。具有泛化性高、實時性好、精度高及魯棒性強等優點。

本發明授權雙臂協同視覺聯合感知的空間目標抓取點智能快速定位方法在權利要求書中公布了：1.一種雙臂協同視覺聯合感知的空間目標抓取點智能快速定位方法，其特征在于步驟如下： S1、全局目標智能自主識別與實例分割； S11、采集機械臂在軌服務與操控任務下的空間非合作目標圖像，并進行樣本標注，完成對空間非合作目標關鍵部組件有標簽訓練數據集的構建； S12、將S11構建的訓練數據集作為基于MaskR-CNN的目標快速檢測與實例分割網絡模型的輸入進行訓練，并采用全局大視場RGB-D相機實時獲取的圖像輸入到模型中實現機械臂抓取任務末端接近過程中的非合作目標對接環的智能自主識別與實例分割； 所述空間非合作目標圖像要豐富多樣，盡可能逼真模擬空間真實環境中在不同任務、不同光照、不同背景條件下的多種類、多角度運動狀態下的空間非合作目標，具體包括空間雜散光干擾，空間背景復雜多變，空間光照極端惡劣，空間目標遮擋及空間目標處于翻滾或者高速自旋狀態等條件下的空間非合作目標圖像； 所述樣本標注包括對訓練樣本中每一張原始圖片中的目標關鍵部組件的實例分割邊界和檢測框的標記并創建對應標簽； 所述樣本標注通過使用Labelme對采集的每一張原始圖像進行樣本標注，具體通過使用Labelme工具中的CreatePolygons功能標記出目標關鍵部組件的實例分割邊界并創建標簽，然后在此基礎上使用CreateRectangle功能標記出目標關鍵部組件對應的檢測框，并選擇對應標簽； 所述的空間非合作目標關鍵部組件包括鍋形天線、推力器、對地觀測相機、太陽帆板、太敏、紅外地平儀、剛性臂、饋源、柔性臂、太陽帆板支架、錐形螺旋天線、衛星本體、星敏感器、星箭對接環、對接面、激光數傳、噴管、測控天線、末端操作器、GPS天線； 所述的全局大視場RGB-D相機安裝于服務星本體上，位于雙機械臂基座連線中心位置，能夠實現機械臂抓取任務末端服務星距離操作星2m處位置的非合作目標對接環的全局信息的獲取； 所述的非合作目標對接環的智能自主識別與實例分割通過采用MaskR-CNN算法實時獲得目標初始狀態定位檢測框的位置，目標像素級別的分類及目標邊界的精確分割等信息參數； 具體地，MaskR-CNN實現步驟如下： （1）基于ResNeXt-101網絡實現圖像特征提取； （2）對得到的特征圖通過RPN目標估計網絡生成候選區域ROIregionofinterest； （3）對獲取的ROI通過具有雙三次線性插值的ROIAlign層映射成固定維數的特征向量，以保持特征像素的精細性；其中兩個分支經過FasterRCNN完成目標的分類和包圍框的回歸，另一分支經過全卷積神經網絡FCN進行上采樣得到目標物體的像素級實例分割； 所述實例分割分支采用了16倍上采樣的FCN，分割結果更精細，對于較小目標更魯棒；進一步地，FCN是在VGG-Net的con5_3層的基礎上加了5層卷積層和3層反卷積層，實現目標識別與目標檢測分支并行，減少任務整體執行時間； 其中訓練采用的多任務損失函數，通過學習不斷的減小損失函數的值，直到獲得全局最優解；損失函數的公式如式（1），式中的三項分別為分類誤差、包圍框誤差和分割誤差： （1） 經過改進的MaskR-CNN算法之后會得到三個輸出，分別是目標的類別、包圍框的位置及物體的掩碼； S2、視覺聯合感知的目標局部輪廓快速精確分割； S21、基于上述S1全局目標智能自主識別與實例分割的結果，完成目標對接環部組件的篩選，獲得目標對接環的包圍檢測邊框的位置和目標像素分割掩碼Mask； S22、將目標檢測與分割的結果及目標對接環中心位置同步映射到全局大視場RGB-D相機對應獲取的深度圖中，獲取目標對接環中心、半徑、檢測邊框及邊界三維信息； S23、引導目標對接環于全局大視場RGB-D相機獲取的圖像中心位置，并基于當前時刻獲取的目標對接環中心、檢測邊框及邊界三維信息實現雙臂協同末端高精度手眼深度相機下目標對接環初始位置的定位獲取； S24、基于檢測邊框獲取雙機械臂末端手眼深度相機下的目標對接環局部開窗區域，并對該區域深度圖像中局部目標進行邊緣檢測與分割，結合目標實例分割像素邊界結果，完成視覺聯合感知的目標局部輪廓快速精確分割； 所述步驟S21中目標對接環部組件的篩選是基于上述S1全局目標智能自主識別與實例分割的結果，從多個部組件中快速篩選出關心的目標對接環這一類抓捕對象，進而實現基于全局深度相機的不同任務下目標對接環部組件的快速智能識別和分割，具有速度快及泛化性高的優點； 所述步驟S23中全局大視場RGB-D相機位于服務星末端雙機械臂基座的中心位置，所述的局部高精度手眼深度相機安裝于機械臂末端； 所述的目標對接環初始位置的定位獲取具體過程如下： （1）根據目標對接環中心坐標，動態調整服務星與目標對接環的位置關系，直到目標對接環位于全局大視場RGB-D相機的視野中心； （2）啟動雙機械臂末端局部手眼相機，完成全局大視場RGB-D相機與服務星末端機械臂高精度手眼相機標定； （3）將全局RGB-D相機當前時刻獲取的目標對接環圓心、半徑、檢測邊框及邊界三維信息映射到雙機械臂末端高精度手眼相機觀測的深度圖像中，完成局部高精度手眼深度相機下目標對接環初始位置的定位獲取； 所述的視覺聯合感知的目標局部輪廓快速精確分割流程如下： 基于上述S1全局目標智能自主識別與實例分割獲得目標對接環的包圍檢測邊框的四個頂點和目標像素分割掩碼Mask邊界點坐標為： 和， 目標對接環的中心坐標； 所述將全局RGB-D相機獲取的目標對接環圓心、半徑、檢測邊框及邊界三維信息映射到雙機械臂末端高精度手眼相機深度圖； 所述的局部高精度手眼深度相機下目標對接環初定位的目標對接環圓心、半徑、檢測邊框及邊界三維信息坐標如下： 左機械臂手眼深度相機深度圖像中目標對接環檢測框的頂點坐標： ； 左機械臂手眼深度相機深度圖像中目標對接環虛擬圓心坐標； 左機械臂手眼深度相機深度圖像中目標對接環邊界點坐標：； 左機械臂手眼深度相機深度圖像中目標對接環邊界端點坐標： ； 右機械臂手眼深度相機深度圖像中目標對接環檢測框的頂點坐標： ； 右機械臂手眼深度相機深度圖像中目標對接環虛擬圓心坐標： ； 右機械臂手眼深度相機深度圖像中目標對接環邊界點坐標： ； 右機械臂手眼深度相機深度圖像中目標對接環邊界端點坐標： ； 其中： （2） 所述步驟S24中基于檢測邊框完成雙機械臂末端手眼深度相機下的目標對接環局部開窗區域的獲取，左右機械臂末端手眼深度相機觀測的局部區域為和所組成的區域； 所述步驟S24中只需完成左右機械臂末端手眼深度相機觀測的和所組成的局部區域深度圖像中目標的邊緣的檢測與分割，獲得分割邊緣點和； 所述步驟S24中結合目標實例分割像素邊界結果，完成視覺聯合感知的目標局部輪廓快速精確分割；具體通過篩選目標實例分割的目標邊緣點與開窗小區域下深度圖像中目標局部邊緣的檢測與分割邊緣圖信息取交集，獲取最后的目標深度圖邊緣提取結果，具體如下： 對左右機械臂末端手眼深度相機獲取的深度圖像遍歷每一個邊緣點，保留同時滿足如下條件的邊緣點和； （3） （4） 所述的視覺聯合感知的目標局部輪廓快速精確分割采用只全局處理初始位置圖像，后續對包含目標的場景局部圖像或圖像序列進行局部處理實現其余序列圖像局部特征的連續分割，無需對整個衛星圖像進行邊緣檢測、特征提取及目標分割，具有實時性好的優點；通過全局智能分割與局部邊緣檢測分割視覺聯合感知的方式，可有效提高目標局部輪廓區域分割的精度； S3、視覺引導的雙臂協同目標抓取點動態精確定位，實現雙臂協同視覺聯合感知的空間目標對接環的智能自主識別、分割與目標抓取位置的快速穩定獲取； S31、基于視覺聯合感知的目標局部輪廓快速精確分割獲取的目標邊緣信息，采用分段組合三階貝賽爾曲線對雙臂手眼深度圖像中局部邊緣圓弧進行連續擬合，并動態獲取邊緣圓弧段最遠切點，作為當前目標抓捕點； S32、當兩個抓捕點間距離滿足一定條件時執行抓取過程，并把抓取點的位置信息發送給末端機械臂控制器； S33、采用基于分段距離加權速度優化調整法實現雙臂在行進過程中能夠分段同步協同逼近目標對接環抓捕點，確保同步完成目標的抓取； 所述步驟S31中目標抓捕點的獲取是通過采用分段組合三階貝賽爾曲線完成雙臂手眼深度圖像中局部邊緣圓弧的連續擬合，并動態獲取邊緣圓弧段最遠切點； 所述的分段組合三階貝賽爾曲線完成雙臂手眼深度圖像中局部邊緣圓弧的連續擬合： 所述動態獲取邊緣圓弧段最遠切點具體地通過遍歷曲線上的每一點，篩選出左右機械臂對應的最左和最右點作為抓捕點； 所述步驟S32中當兩個抓捕點間距離滿足一定條件時執行抓取過程具體通過計算歸一化到右相機坐標系下的兩個抓捕點之間的距離d，若d大于45倍對接環的直徑，滿足抓取要求；若不滿足距離要求，則以右抓捕點為基準，連接右抓捕點與虛擬圓心坐標，并延長線與左機械臂深度圖像的交點，并在交點周圍一定區域r=0.001m內搜索抓捕點，確保雙臂同時抓取目標區域足夠遠，并能夠穩定抓取同一個目標對象； 所述步驟S33中采用基于分段距離加權速度優化調整法實現雙臂在行進過程中能夠分段同步協同逼近目標對接環抓捕點； 所述的分段距離加權速度優化調整法： 所述的基于分段距離加權速度優化調整法實現雙臂協同目標抓捕點位置的獲取，具體通過在雙機械臂行進過程中按照當前獲取的雙臂各自距離抓捕點的距離信息百分比權值調整機械臂運動速度，采取分段同步協同逼近目標對接環抓捕點的策略，確保左右手眼相機同步獲取目標抓取點的位置，具有目標抓取點定位精度高及魯棒性強等優點。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西北工業大學，其通訊地址為：710072 陜西省西安市友誼西路；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。