買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉浙江工業大學申請的專利一種基于深度強化學習的無人機輔助邊緣卸載決策方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115309467B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210433511.7，技術領域涉及：G06F9/445；該發明授權一種基于深度強化學習的無人機輔助邊緣卸載決策方法是由田賢忠;繆娉婷;許鵬程;孟慧驍設計研發完成，并于2022-04-24向國家知識產權局提交的專利申請。

本一種基于深度強化學習的無人機輔助邊緣卸載決策方法在說明書摘要公布了：一種基于深度強化學習的無人機輔助邊緣卸載決策方法，包括以下步驟：設置S個靜態邊緣服務器和N架攜帶存儲設備的無人機；服務器上的任務以均值為λi,t的泊松分布到達，并以一定的概率pi,t卸載給服務器進行處理，剩下的則在無人機處理；建立以最小化任務完成時間和計算任務成本為優化目標的優化問題模型，并采用深度強化學習方法來求解該問題，得到最優的無人機數量分配方案以及服務器與無人機之間的卸載方案。本發明適用于服務器計算任務不均衡的移動邊緣計算系統場景，可以根據邊緣服務器的計算任務負載情況，合理部署無人機，制定合適的卸載決策。

本發明授權一種基于深度強化學習的無人機輔助邊緣卸載決策方法在權利要求書中公布了：1.一種基于深度強化學習的無人機輔助邊緣卸載決策方法，其特征在于，包括如下步驟： 步驟1：在交通網絡中，部署S臺邊緣服務器，簡稱為服務器，表示服務器的集合；無人機數量為N架；無人機計算單位任務成本為costd，服務器計算單位任務的成本為costs；每一架無人機都部署在某一服務器的覆蓋范圍內，輔助服務器完成卸載任務，部署的情況表示為Gt＝[a1,t,a2,t,a3,t,…,aS,t]，ai,t表示在t時刻協助服務器i的無人機數量； 步驟2：每個時隙t服務器i的任務到達都服從均值為λi,t的泊松分布；讓到達服務器i的任務以pi,t的概率選擇服務器i來處理，則服務器端任務的到達速率為λi,tpi,t，無人機端任務的到達速率為λi,t1-pi,t，記pt＝[p1,t,p2,t,…,pS,t]； 步驟3：利用排隊論計算任務在服務器處理時的逗留時間和任務在無人機處理時的逗留時間，逗留時間包括排隊時間+處理時間，建立最小化任務完成時間和計算任務成本為目標的優化問題P1；任務在服務器端或者無人機端的逗留時間的計算方法如下： 1服務器端的計算任務平均隊列長度；利用排隊論MM1模型，可得服務器端的服務強度μs是服務器的處理速率，則服務器內的平均隊列長度為 2服務器端的發送任務平均隊列長度；是服務器與無人機之間的上行傳輸速率，w為無人機與服務器之間的帶寬，Pi為服務器i的發射功率，gi為服務器i與無人機之間的信道增益，σ2為服務器i與無人機之間的噪聲；是服務器端發送任務的強度，利用排隊論MM1模型，服務器端的發送任務平均隊列長度為 3無人機端的計算任務平均隊列長度；利用排隊論的的MMC模型， 是無人機端計算任務隊列長度，其中 μd為無人機的處理速率； 4統計計算任務的總成本；無人機計算單位任務的成本為costd，服務器計算單位任務的成本為costs，計算任務在服務器端和無人機端計算的成本分別為和 更進一步地，步驟3中，任務完成時間和計算任務成本的表達式為： Ti,t,s表示任務在服務器i上的逗留時間，Ti,t,d,s表示任務卸載給無人機時的逗留時間，其中式1是權重因子的約束，式2是輔助的無人機數量的約束，式3是卸載的概率約束，式456是排隊論中任務到達速度和處理速度之間的約束； 步驟4：采用深度強化學習的算法對步驟3中歸納的數學問題P1進行求解，從而得到單個時隙內無人機輔助方案Gt、計算任務卸載方案pt；所述的采用深度強化學習的算法對步驟3中歸納的數學問題P1進行求解的步驟為： 步驟4.1：根據時隙之間的獨立性以及服務器之間的獨立性，將優化問題P1轉化為問題P2； 步驟4.2：通過隨機方法初始化兩個DNN的網絡參數θa,1和θp,1，用網絡參數來產生部署決策和卸載決策；初始化兩個空的Memory，用來存放經過訓練后得到的歷史經驗； 步驟4.3：選擇SoftPlus函數作為第一個DNN網絡的隱藏層的激活函數，SoftMax函數作為其輸出層函數；每個時隙的任務到達速率λt作為其輸入，其輸出為其中表示通過網絡參數θa,t在第一個DNN網絡中對于λt狀態的映射函數； 步驟4.4：選擇ReLu作為第二個DNN網絡的隱藏層的激活函數，sigmoid函數作為輸出層函數；將第一個DNN網絡輸出得到的作為輸入，輸出為 其中表示通過網絡參數θp,t在第二個DNN網絡中對于狀態的映射函數； 步驟4.5：上述步驟中得到的和為松弛向量，即并不一定是對應狀態的最優決策，于是將該時刻的λt和松弛向量和內的元素進行升序排列得到和將中的每一個元素與和中的元素進行遍歷計算P2的最小值得到每個服務器的無人機數量Gt*和卸載決策 步驟4.6：把步驟4.5中和得到的Gt*添加到第一個DNN網絡的Memory里，Gt*和添加第二個DNN的Memory中；如果Memory已滿，就用最新的Gt*和替換Memory中最舊的數據；每當時隙數量達到訓練間隔δ時，從Memory中聯合取出一批數據作為訓練樣本集和 為一組時間指數； 步驟4.7：用和分別訓練兩個DNN，并且使用Adam算法更新優化訓練參數θa,t和θp,t； 步驟4.8：重復步驟4.3-步驟4.7，直到迭代次數達到限定值M； 步驟4.9：利用訓練好的深度強化學習網絡求出每個時隙無人機部署和卸載方案。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江工業大學，其通訊地址為：310014 浙江省杭州市拱墅區潮王路18號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。