買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉大連理工大學申請的專利基于深度強化學習的網絡攻擊檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116055209B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310109721.5，技術領域涉及：H04L9/40；該發明授權基于深度強化學習的網絡攻擊檢測方法是由姚琳;田子緣;吳國偉;崔桂彰設計研發完成，并于2023-02-14向國家知識產權局提交的專利申請。

本基于深度強化學習的網絡攻擊檢測方法在說明書摘要公布了：一種基于深度強化學習的網絡攻擊檢測方法。對原始數據集進行預處理，再對Agent進行構造，包括初始化Agent所處環境、規定智能體與環境的交互方式、訓練策略和價值函數。根據狀態對特征進行選擇，將選擇好的特征輸入到檢測模型中進行預測。將檢測結果作為反饋回傳給智能體Agent訓練模塊，并計算動作的Qs，a，刷新Q表。重復直到最優特征子集中包含的特征數達到最大，即模型收斂；或訓練步長完成，生成最優特征子集。針對新型特征設計的處理方法能夠反映出新型特征對于入侵攻擊檢測的重要性，若重要則會部署新型特征的專屬最優特征子集，這樣一來體現了最優特征子集的靈活性，可針對不同的攻擊情形自發的采取相應措施。

本發明授權基于深度強化學習的網絡攻擊檢測方法在權利要求書中公布了：1.一種基于深度強化學習的網絡攻擊檢測方法，其特征在于，步驟如下： 1特征選擇智能體環境狀態模型的構造； 環境狀態模型即智能體所需要的環境，包括獎勵函數的定義與交互反饋規則的設計，具體內容如下： 1.1首先使用Ut來代表第t時刻智能體獲得的折扣未來累積獎勵，然后考慮具體的應用背景； 折扣未來累積獎勵Ut：智能體能感知環境的狀態并根據環境提供的反饋信號rt，通過學習選擇動作，最大化折扣未來積累獎勵；通過引入折扣系數γ來減小步驟之間的強關聯性，將折扣未來累積獎勵Ut作為折扣未來累積獎勵，其表達式為： 其中，Rt是第t時刻智能體接受的反饋，γ∈[0,1]是折扣系數，用于提升即時獎勵而不是延遲獎勵； 當γ接近0時，表示更重視當下的回報；當γ接近1時，表示更重視未來的回報； 1.2在定義好獎勵函數后，設計智能體Agent與環境的交互反饋規則，即獎勵機制； 設計一種雙獎勵機制，考慮的評估指標包括檢測結果的準確率accuracy、精確率precision、召回率recall以及模型的運行時間time，并設計如下的獎勵公式： 其中，ω表示衡量對應評估指標的權重矩陣，用來衡量各評估指標的重要性、設置偏好程度以及優先級；R表示獎勵矩陣，每個評估指標對應一個獎勵分量；r_a表示準確率的反饋，r_p表示精確率的反饋，r_r表示召回率的反饋，r_t表示運行時間的反饋； 在每一次迭代時，把新選擇的特征添加到已選擇的特征集，如果智能體使用新特征集訓練出來的指標有所降低，那么就把新特征的reward設置為-100；如果各項指標有所提升，首先記錄提升過后的各項檢測指標對應的反饋，即準確率r_a、精確率r_p、召回率r_r、運行時間r_t，然后根據各項指標對應的權值計算新的reward； 2特征選擇智能體價值函數的構造； 價值函數是獎勵的期望，用于評價不同狀態的好壞，指導智能體動作的選擇，還用價值函數來評估智能體在某時間t狀態s的好壞程度，具體內容如下： 2.1首先計算價值函數Qs,a，用于評估當前智能體從狀態s開始，執行動作a且服從策略ε的期望返回，公式如下： Qπs,a＝Eπ[Ut|St＝s,At＝a] 其中，St表示第t時刻智能體所處狀態，At表示第t時刻智能體執行的動作，智能體的訓練策略π； 在獲取到當前狀態s對應的所有可能動作a的價值，結合訓練策略，智能體需要選擇最優動作，即基于策略策略π，在所有的Qs,a中取最大值，這便是動作at的決策過程，公式如下： 其中，Q*st,at是第t個時刻所有動作的最大價值； 2.2經過價值函數的構造，智能體根據既定的策略，對當前狀態所有可能的動作進行有規律的選取；因此，對策略進行定義，具體內容如下： 選用貪心策略，其表示在智能體做決策時，存在∈的概率隨機選擇未知的一個動作，0∈1，剩下的1-∈的概率選擇已有動作中價值最大的動作；當智能體選取某特征并最終將其加入到最優特征集后，需要將其從動作空間中移除或重置其Q值，也就是說，將選取該特征的動作對應的Q值盡可能大的降低，保證該特征在后續的訓練中盡可能不會被選擇。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人大連理工大學，其通訊地址為：116024 遼寧省大連市甘井子區凌工路2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。