買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉華南理工大學申請的專利基于深度強化學習DQN的多AGV路徑規劃避障方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116339333B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310307325.3，技術領域涉及：G05D1/43；該發明授權基于深度強化學習DQN的多AGV路徑規劃避障方法是由黃巖松;姚錫凡設計研發完成，并于2023-03-27向國家知識產權局提交的專利申請。

本基于深度強化學習DQN的多AGV路徑規劃避障方法在說明書摘要公布了：本發明一種基于深度強化學習DQN的多AGV路徑規劃避障方法，其包括以下步驟：根據激光雷達點云數據構建周圍環境地圖，并將其轉換為柵格地圖；根據柵格地圖信息構建AGV的觀察矩陣和狀態向量，觀察矩陣記錄AGV周圍是否存在其他AGV且這些AGV的運行方向；構建針對單AGV的多起點多終點路徑規劃模型；將構建的模型應用在環境中所有AGV上，計算出每個AGV在不考慮其他AGV的情況下的預動作，依據AGV觀測范圍內其他AGV的預動作得到觀測矩陣，利用觀測矩陣對模型結果進行修正。相較于其他啟發式算法或利用深度強化學習的方法構建多AGV路徑規劃的方法相比，本發明能夠保證AGV在躲避碰撞的同時保持最優的動作選擇。

本發明授權基于深度強化學習DQN的多AGV路徑規劃避障方法在權利要求書中公布了：1.一種基于深度強化學習DQN的多AGV路徑規劃避障方法，其特征在于，包括以下步驟： 步驟1、根據激光雷達點云數據構建周圍環境地圖，并將地圖轉換為柵格地圖；柵格地圖的信息包括各AGV的位置、障礙物的尺寸； 步驟2、根據柵格地圖信息構建AGV的觀察矩陣和狀態向量，觀察矩陣記錄AGV周圍是否存在其他AGV且其他AGV的運行方向；狀態向量包括包含以下三個部分：終點位置、AGV當前位置與終點的關系、周圍環境信息； 步驟3、基于深度強化學習算法和AGV的狀態向量構建針對單AGV的多起點多終點路徑規劃模型；所述深度強化學習算法為DQN算法，DQN算法結合神經網絡算法和Q-learning強化學習算法，在Q-learning中，利用表格記錄和更新Q值，Q值的計算通過以下式子 Qπs,a＝Eπ[Gt|St＝s,At＝a] 式中Qπs,a表示根據策略Eπ，在時刻t時狀態空間St中的一個狀態s下采取動作空間At中的一個動作a的價值函數，回報Gt表示為之后每一步k的獎勵Rt+k+1的折扣和，γ表示折扣因子，獎勵Rt+k+1是環境根據智能體的動作給予的反饋，是該步策略好壞的短期評判標準； 式中Gt表示在時刻t的回報函數，是在狀態s下執行動作a后對后續影響的度量，G定義為后續獎勵函數的總和，DQN算法利用Q值網絡對Q值進行擬合，將Q值參數化，通過更新網絡參數來更新Q值： Qs,a,θ≈Q*s,a 式中θ表示Q值網絡的網絡參數，Q*s,a表示在最優策略的指導下獲得的Q值函數，Qs,a,θ表示參數化的Q值網絡計算得到的Q值； 針對單AGV的多起點多終點路徑規劃模型，設定AGV在柵格地圖中的運行方式，包括：AGV能向周圍八個方向運行，同時能選擇停留動作保持位置不變，即AGV的動作空間為{不動，上，左上，左，左下，下，右下，右，右上}，用數字表示為{0，1，2，3，4，5，6，7，8}；使用∈貪心策略選擇動作： 式中∈∈[0,1]表示策略的隨機性量，即動作從隨機動作和貪婪動作之間選擇的概率；c表示隨機生成的大于0小于1的小數，當生成的c大于隨機性量時，選擇貪婪動作，反之則選擇隨機動作;表示貪婪動作，即依據DQN訓練出的Q值網絡Qs，a，θ根據狀態s選擇當前的最優動作a，其中θ表示Q值網絡的網絡參數； 步驟4、將步驟3構建的模型應用在環境中所有AGV上，計算出每個AGV在不考慮其他AGV的情況下的預動作，依據AGV觀測范圍內其他AGV的預動作得到觀測矩陣，利用觀測矩陣對模型結果進行修正，以避免AGV之間的碰撞。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人華南理工大學，其通訊地址為：510640 廣東省廣州市天河區五山路381號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。