買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉濟南時代確信信息安全測評有限公司申請的專利一種基于分層強化學(xué)習(xí)的智能安全審計方法、系統(tǒng)及設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120185872B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-16發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510281211.5，技術(shù)領(lǐng)域涉及：H04L9/40；該發(fā)明授權(quán)一種基于分層強化學(xué)習(xí)的智能安全審計方法、系統(tǒng)及設(shè)備是由孟繁剛;徐鵬程;李國良;朱小川;劉偉設(shè)計研發(fā)完成，并于2025-03-11向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于分層強化學(xué)習(xí)的智能安全審計方法、系統(tǒng)及設(shè)備在說明書摘要公布了：本發(fā)明涉及網(wǎng)絡(luò)安全審計與自動化滲透測試技術(shù)領(lǐng)域，具體涉及一種基于分層強化學(xué)習(xí)的智能安全審計方法、系統(tǒng)及設(shè)備，具體如下：將安全審計過程建模為一個分層馬爾科夫決策過程，服務(wù)端生成攻擊序列發(fā)送至客戶端，攻擊序列基于分層強化學(xué)習(xí)生成，然后客戶端根據(jù)接收到的攻擊序列執(zhí)行攻擊動作并收集反饋，再將反饋發(fā)送至服務(wù)端，服務(wù)端根據(jù)反饋更新分層強化學(xué)習(xí)，并進行優(yōu)化和迭代，當(dāng)滿足設(shè)置的迭代條件時，安全審計過程結(jié)束，否則繼續(xù)開展安全審計操作，直至滿足迭代停止條件時結(jié)束安全審計過程。本發(fā)明通過自動化分層學(xué)習(xí)與適應(yīng)機制來提高應(yīng)對復(fù)雜攻擊場景的檢測能力，減少人工干預(yù)，從而獲得更高效和準(zhǔn)確的安全威脅識別。

本發(fā)明授權(quán)一種基于分層強化學(xué)習(xí)的智能安全審計方法、系統(tǒng)及設(shè)備在權(quán)利要求書中公布了：1.一種基于分層強化學(xué)習(xí)的智能安全審計方法，其特征是： 將安全審計過程建模為一個分層馬爾科夫決策過程，通過服務(wù)端生成攻擊序列發(fā)送至客戶端來開展安全審計操作，攻擊序列基于分層強化學(xué)習(xí)生成，分層強化學(xué)習(xí)包括宏觀策略和微觀策略，然后客戶端根據(jù)接收到的攻擊序列執(zhí)行攻擊動作并收集反饋，再將反饋發(fā)送至服務(wù)端，服務(wù)端根據(jù)反饋更新宏觀策略和微觀策略，對宏觀策略和微觀策略進行迭代與優(yōu)化，設(shè)置迭代停止條件，若滿足迭代條件，安全審計過程結(jié)束，否則根據(jù)更新后的宏觀策略和微觀策略繼續(xù)開展安全審計操作，直至滿足迭代停止條件時結(jié)束安全審計過程； 客戶端的執(zhí)行與反饋： （1）在時刻，客戶端接收服務(wù)端發(fā)送的微觀動作，并基于時刻的系統(tǒng)狀態(tài)和相應(yīng)的子任務(wù)開展具體的攻擊操作，執(zhí)行具體操作的過程中，客戶端根據(jù)微觀動作的指令對審計對象執(zhí)行攻擊動作； （2）客戶端執(zhí)行完成后，系統(tǒng)的狀態(tài)由轉(zhuǎn)變?yōu)椋硎緢?zhí)行動作后的最新狀態(tài)，狀態(tài)包括網(wǎng)絡(luò)拓撲及端口變化、系統(tǒng)配置及資源使用情況、當(dāng)前攻擊進度與子任務(wù)完成度指示信息、是否出現(xiàn)安全異常或防御機制觸發(fā)異常事件； 3客戶端根據(jù)系統(tǒng)狀態(tài)的更新計算微觀策略的即時反饋獎勵,計算公式如下: ， 其中,依次包括五個獎勵項，分別為、、、和，表示量化一次攻擊操作的成功程度，表示攻擊操作的時間開銷，表示攻擊操作帶來的安全風(fēng)險，表示攻擊操作消耗的系統(tǒng)資源，表示狀態(tài)-動作探索獎勵，、、、和分別表示在狀態(tài)下個獎勵項、、、和的動態(tài)權(quán)重系數(shù)； 狀態(tài)-動作探索獎勵的計算公式如下: ， 其中，表示探索獎勵基礎(chǔ)系數(shù)，表示歷史執(zhí)行過的攻擊動作總數(shù)，表示的索引，表示歷史執(zhí)行過的第個攻擊動作，表示當(dāng)前的攻擊動作與之間的狀態(tài)-動作空間距離，表示距離敏感度調(diào)節(jié)因子； 通過多層次安全優(yōu)先級評估模型和安全狀態(tài)熵權(quán)法確定，，表示獎勵項數(shù)量的索引，，的計算公式如下: ， 其中，也表示獎勵項數(shù)量的索引，表示第個獎勵項預(yù)設(shè)的基礎(chǔ)權(quán)重，表示狀態(tài)的第個獎勵項的動態(tài)調(diào)整因子，表示狀態(tài)的狀態(tài)熵，表示第個獎勵項預(yù)設(shè)的基礎(chǔ)權(quán)重，表示狀態(tài)的第個獎勵項的動態(tài)調(diào)整因子； 狀態(tài)的狀態(tài)熵的計算公式如下： ， 其中,表示系統(tǒng)狀態(tài)分類數(shù)量,表示狀態(tài)屬于第類狀態(tài)的概率； 狀態(tài)的動態(tài)調(diào)整因子的計算公式為: ， 其中，表示狀態(tài)下第個獎勵項的重要指標(biāo)，表示歸一化常數(shù)，和表示兩個不同的調(diào)節(jié)系數(shù)，表示第個獎勵項的調(diào)節(jié)系數(shù)，表示第個獎勵項的調(diào)節(jié)系數(shù)，表示當(dāng)前攻擊進度指標(biāo)，表示第個獎勵項的歷史成功率； 歷史成功率的計算公式如下： ， 其中，表示截至至?xí)r刻執(zhí)行過的攻擊動作總數(shù)，表示的索引，表示第個獎勵項的相關(guān)動作集合，表示指示函數(shù)，若，則，否則，表示判斷第個攻擊動作是否成功，若成功，，若失敗，； （4）客戶端將最新狀態(tài)、即時獎勵、子任務(wù)完成度指示信息和輔助診斷信息以數(shù)據(jù)包的形式發(fā)送回服務(wù)端。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人濟南時代確信信息安全測評有限公司，其通訊地址為：250109 山東省濟南市中國(山東)自由貿(mào)易試驗區(qū)濟南片區(qū)貞觀街988號銀豐新能源產(chǎn)業(yè)園10號樓4層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。