買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉北京工業大學申請的專利一種基于機器視覺的垃圾桶無人值守系統設計方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114092877B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111295652.9，技術領域涉及：G06V20/52；該發明授權一種基于機器視覺的垃圾桶無人值守系統設計方法是由孫光民;趙銳騰;李煜設計研發完成，并于2021-11-03向國家知識產權局提交的專利申請。

本一種基于機器視覺的垃圾桶無人值守系統設計方法在說明書摘要公布了：一種基于機器視覺的垃圾桶無人值守系統設計方法屬于機器視覺技術領域，系統采用端?云結合架構，通過邊緣計算對視頻等信息進行實時處理，提高系統反應時效性，減輕數據傳輸負載，降低平臺的運營成本。該系統可部署于社區集中垃圾投放點，輔助垃圾的正確投放和分類，對居民垃圾投放情況及垃圾桶狀態信息進行實時監控和統計，保證垃圾投放過程可監督，可追溯。系統可替代原有的人工值守方式，有效降低人力成本，提高垃圾分類政策的執行效果。

本發明授權一種基于機器視覺的垃圾桶無人值守系統設計方法在權利要求書中公布了：1.一種基于機器視覺的垃圾桶無人值守系統設計方法，其特征在于： 步驟1使用人臉檢測算法獲取攝像頭拍攝圖像中的人臉檢測框Boxes以及每個檢測框所對應的人臉關鍵點Landmarks；將Boxes及其對應的Landmarks送入對齊網絡輸出對齊后的人臉圖像Imageface；將對齊后的人臉圖像Imageface送入人臉識別網絡生成n維特征向量embedding，embedding滿足： embedding＝x1,x2,x3…xn 作為人臉比對依據；最后將生成的人臉特征向量embedding與數據庫中已注冊的人臉特征向量集合進行對比，其中ei滿足： ei＝y1,y2,y3…yn 計算其歐氏距離d： 選擇滿足歐氏距離d小于預設閾值dthreshold的人臉信息所對應的姓名作為最終識別結果；dthreshold＝1.24； 步驟2使用深度神經網絡模型對待投放垃圾進行目標檢測，獲取待投放垃圾的種類信息，分為以下4個階段： 1預處理階段，對輸入圖像進行切片操作，將切片后的圖像進行卷積降維后，送入主干網絡進行特征提取； 2特征圖提取階段，主干網絡由深度可分離卷積DSConv模塊及添加通道注意力機制的幽靈卷積瓶頸層SE-GhostBottleneck模塊構成； SE-GhostBottleneck模塊輸入先后經過幽靈卷積降維GhostConv–分組卷積DWConv–通道權重調整SELayer–幽靈卷積升維GhostConv操作輸出特征圖； 主干網絡具體結構如下： 2-1輸入首先經過DSConv模塊進行卷積下采樣操作，之后送入SE-GhostBottleneck模塊進行特征提取得到淺層特征圖； 2-2將淺層特征圖送入DSConv模塊進行卷積下采樣操作，之后送入3層級聯SE-GhostBottleneck模塊進行特征提取得到較深層特征圖； 2-3將較深層特征圖送入DSConv模塊進行卷積下采樣操作，之后送入3層級聯SE-GhostBottleneck模塊進行特征提取得到深層特征圖； 2-4將深層特征圖送入空間金字塔池化層SPP模塊進行多重感受野融合，提升模型對于不同尺寸物體檢測的魯棒性，并將輸出特征圖送入通道注意力模塊SELayer進行通道權重調整，將其輸出結果作為主干網絡的特征提取結果； 3特征融合階段，對于主干網絡所提取的特征圖，基于深層特征圖的強語義特征和淺層特征圖的強定位特征，從不同的主干層對不同的檢測層進行參數聚合，更好的融合主干網絡所提取的特征，其具體結構如下： 3-1首先將主干網絡輸出特征圖送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖f1； 3-2將特征圖f1送入幽靈卷積GhostConv模塊，輸出特征圖f2； 3-3將特征圖f2進行上采樣，并通過跳躍連接層與2-3中所提深層特征圖在通道維度上進行堆疊，輸出特征圖f3； 3-4將特征圖f3送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖f4； 3-5將特征圖f4送入幽靈卷積GhostConv模塊，輸出特征圖f5； 3-6將特征圖f5進行上采樣，并通過跳躍連接層與2-2中所提較深層特征圖在通道維度上進行堆疊，輸出特征圖f6； 3-7將特征圖f6送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖FM1； 3-8將特征圖FM1送入深度可分離卷積DSConv模塊，輸出特征圖f7； 3-9將特征圖f7通過跳躍連接層與步驟3-4中所提特征圖f4在通道維度上進行堆疊，輸出特征圖f8； 3-10將特征圖f8送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖FM2； 3-11將特征圖FM2送入深度可分離卷積DSConv模塊，輸出特征圖f9； 3-12將特征圖f9通過跳躍連接層與3-2中所提特征圖f2在通道維度上進行堆疊，輸出特征圖f10； 3-13將特征f10圖送入幽靈卷積瓶頸層GhostBottleneck模塊，輸出特征圖FM3； 4目標檢測階段，設置三級檢測頭，分別對應小、中、大三種尺度的檢測目標；將特征圖FM1、FM2、FM3送入檢測頭，根據預設錨點框進行邊框回歸，實現目標檢測； 步驟3通過多目標跟蹤算法對目標軌跡進行跟蹤預測，并且針對原有遮擋造成的跟蹤目標序號跳變問題，設計了一種跟蹤器雙輸入并聯結構，聯合多角度特征信息保證跟蹤效果的穩定性，降低誤判率，具體流程如下： 1將每一時刻的跟蹤框組合構成一組軌跡； 2通過濾波操作對當前幀預測一個跟蹤框，該跟蹤框存在兩種狀態，分別為確定狀態和不確定狀態； 3對當前幀進行檢測，然后對檢測框和跟蹤框進行數據關聯，此時會出現兩種情況： a匹配成功，更新跟蹤框； b匹配失敗，對匹配失敗的跟蹤框和檢測框進行IOU匹配；若匹配成功，則進行更新，然后繼續進行預測–觀測–更新的跟蹤流程；若仍然失敗，則將原跟蹤目標的特征向量與輔視角檢測目標的特征向量進行匹配： 若匹配成功，則認為未丟失跟蹤目標并保留跟蹤信息，否則對其建立一個新的跟蹤框，并初始化為不確定狀態，對此后幾幀進行IOU匹配，若匹配成功，則將此跟蹤框設置為確定狀態，繼續進行預測-觀測-更新的跟蹤流程； 4對下一幀執行上述步驟1至3，直至任務結束； 步驟4通過專家系統對投放垃圾的軌跡終點坐標與該區域垃圾桶類別進行匹配，錯誤匹配視為垃圾錯投，未進入區域視為垃圾遺撒；具體地，對每一幀圖像執行下述操作： 4.1遍歷所有檢測框，若檢測到手或目標初始坐標在投放域內，不做處理并進入下一幀，否則執行4.2； 4.2若跟蹤終止坐標不在投放區域內，判定本次投放為垃圾遺撒并進入下一幀，否則執行4.3 4.3若檢測目標種類與投放區域種類不匹配，將投放錯誤信息添加至判定列表，否則將投放正確信息添加至判定列表，并設置告警顯示時長為0； 4.4設置終止顯示時長為2s并遍歷判定列表，若告警顯示時長大于終止顯示時長，將投放信息移出判定列表并發送告警信息至云端服務器，否則維持告警信息顯示直至大于終止顯示時長； 步驟5通過平視攝像頭C1獲取投放物體當前距地面高度信息h，并提前劃定特定高度H，俯視攝像頭C2獲取檢測目標框的像素寬度s′，與劃定垃圾桶區域的像素寬度s，將兩者相除得到比例系數k，公式如下： 其中k∈0,1，當水平攝像頭檢測物體中心點高度h與預設高度H重合即h＝H時，通過已知的垃圾桶邊長Wt計算出投放物體的實際寬度W，公式如下： W＝Wt×k 利用攝像頭單目測距原理計算投放物體到攝像頭的距離D，公式如下： 式中D為檢測物體到攝像頭的距離，W為檢測物體的實際寬度，F為攝像頭的焦距，P為攝像頭中檢測物體的寬度像素值； 最終通過計算已知俯視角度攝像頭C2距地面高度Hc與距離攝像頭最近的目標距離Dmin之差計算出當前桶內的最大垃圾堆疊高度Hmax，公式如下： Hmax＝Hc-Dmin 并設置閾值高度Hthreshold滿足： Hthreshold＝Hcan×α 其中Hcan為垃圾桶總高度，α為滿溢系數，取α＝0.7，當Hmax超過閾值高度Hthreshold時，將垃圾桶視為滿溢狀態； 步驟6邊緣計算設備開啟兩條進程主進程和子進程，并通過共享內存S實現進程通信：其中子進程將步驟5中的平視攝像頭C1作為人臉識別模塊的輸入端，輸出投放人姓名N，同時獲取當前投放物體的高度信息h，最終將上述獲取的姓名N與高度信息h存入共享內存S中供主進程調用；主進程將步驟5中的俯視攝像頭C2作為目標檢測的輸入端，并將結果送入跟蹤器，實現對投放物體的種類CL與軌跡信息T的獲取，將CL與T輸入專家系統得出本次投放動作的判斷結果Code，同時獲取當前時間戳T；最終將上述所提投放人姓名N，投放結果Code，當前時間戳T，桶內堆疊高度h統一發送至云端平臺進行數據匯總；在此期間，主進程通過RTMP協議向云端Nginx服務器推流，以實現流程的實時監控要求。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京工業大學，其通訊地址為：100124 北京市朝陽區平樂園100號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。