買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉華東師范大學申請的專利一種基于深度強化學習的虛擬網絡映射方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116647455B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310679575.X，技術領域涉及：H04L41/0894；該發明授權一種基于深度強化學習的虛擬網絡映射方法是由王廷;段忠磊設計研發完成，并于2023-06-09向國家知識產權局提交的專利申請。

本一種基于深度強化學習的虛擬網絡映射方法在說明書摘要公布了：本發明公開了一種基于深度強化學習的虛擬網絡映射方法，其特點是該方法將物理網絡和虛擬網絡為加權無向圖，利用圖神經卷積網絡將其編碼為網絡拓撲結構向量，然后把網絡拓撲結構向量和網絡資源狀態向量共同輸入到調度器中的策略神經網絡，使用近端策略優化算法對其訓練。本發明與現有技術相比具有根據當前環境狀態動態調整調度決策，協調節點映射和鏈路映射，在提高物理網絡資源利用率的同時，增加映射收益成本比，降低物理網絡集群能耗，模型簡便，易訓練，能顯著提高用戶體驗，為虛擬網絡映射領域提供技術支撐。

本發明授權一種基于深度強化學習的虛擬網絡映射方法在權利要求書中公布了：1.一種基于深度強化學習的虛擬網絡映射方法，其特征在于，該虛擬網絡映射方法具體包括以下步驟： 1）根據收集到的多租戶自定義的虛擬網絡映射請求信息，以及物理網絡集群資源信息進行虛擬網絡映射建模，所述物理網絡為下述（a）式表示的加權無向圖Gs： Gs=Ns,Es,An,Al（a）； 其中，Ns為物理網絡計算節點集合；Es為物理網絡鏈路集合；An為節點屬性；Al為鏈路屬性； 2）根據虛擬網絡模型及物理網絡集群資源模型進行強化學習建模，其具體包括狀態空間、動作空間和獎勵機制的設計； 3）利用深度強化學習算法中的近端策略優化算法PPO對映射器進行訓練，所述近端策略優化算法PPO采用基于演員-評論家actor-critic架構的三個神經網絡，其分別為當前的策略網絡、舊的策略網絡和價值網絡Q； 所述步驟3）具體包括： 3-1：神經網絡初始化 初始化當前的策略網絡、舊的策略網絡和價值網絡Q三個神經網絡，所述策略網絡和策略網絡用于輸出在某狀態下，智能體所執行各個動作的概率；所述價值網絡Q用于評估狀態的好壞； 3-2：檢查當前時間片t是否有虛擬網絡映射請求，若當前時間片t有虛擬網絡映射請求，則開始映射該虛擬網絡； 3-3：利用圖卷積神經網絡GCN將物理網絡和待映射虛擬網絡狀態嵌入為固定大小的向量，然后與物理節點的可用CPU資源向量、物理鏈路的可用帶寬向量、物理節點的映射狀態向量、虛擬節點的CPU資源向量、虛擬節點的映射狀態向量和虛擬鏈路的帶寬資源向量組成當前智能調度器可觀察到的狀態； 3-4：將狀態輸入到策略網絡中，其輸出為所有動作的概率，根據該概率進行采樣，得到動作，然后計算當前的獎勵，并將存儲到記憶池； 3-5：進入下一時刻t+1，重復3-2～3-4步驟，直至達到預設的截至時間、每輪最大步數T或所有虛擬網絡映射請求全部映射結束； 3-6：從記憶池中取出數據，將狀態輸入到價值網絡Q，利用價值網絡Q估計，并由下述（e）～（f）式計算動作優勢： （e）； （f）； 其中，為超參數，分別表示折扣因子和步數；為時刻t獲得的獎勵；和分別為時刻t和時刻t+1的狀態價值； 3-7：從記憶池中取出數據，將狀態分別輸入到策略網絡和舊的策略網絡，分別得到和，計算重要性權重，并以作為損失函數，反向傳播，更新策略網絡，所述重要性權重由下述（g）式計算： （g）； 所述由下述（h）式； ]（h）； 其中，為超參數；表示當大于時，取值為，當時,取值為；min函數表示取倆者中的較小值；表示求期望； 3-8：重復上述3-6～3-7步驟若干次，然后用更新的策略網絡參數覆蓋舊的策略策略網絡參數，即令：； 3-9：根據下述（i）式計算折扣回報： （i）； 使用折扣回報與價值網絡Q的預測值使用均方誤差MSE作為損失函數，反向傳播，更新價值網絡Q的參數； 3-10：清空記憶池，重復上述3-2～3-9步驟若干輪，直至智能調度器獲得的環境獎勵收斂于最優值或次優值。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人華東師范大學，其通訊地址為：200241 上海市閔行區東川路500號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。