買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉浙江工業(yè)大學(xué)申請的專利基于木馬攻擊的深度強(qiáng)化學(xué)習(xí)交通信號控制中毒攻擊方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115426150B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-19發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202211040901.4，技術(shù)領(lǐng)域涉及：H04L9/40；該發(fā)明授權(quán)基于木馬攻擊的深度強(qiáng)化學(xué)習(xí)交通信號控制中毒攻擊方法是由徐東偉;王達(dá);李呈斌設(shè)計(jì)研發(fā)完成，并于2022-08-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于木馬攻擊的深度強(qiáng)化學(xué)習(xí)交通信號控制中毒攻擊方法在說明書摘要公布了：本發(fā)明公開了一種基于木馬攻擊的深度強(qiáng)化學(xué)習(xí)交通信號控制中毒攻擊方法，根據(jù)已有的深度強(qiáng)化學(xué)習(xí)DQN算法并加入木馬攻擊對交通路口信號燈控制模型進(jìn)行訓(xùn)練，通過修改指定位置的車輛信息生成異常交通狀態(tài)數(shù)據(jù)，再設(shè)定異常交通狀態(tài)數(shù)據(jù)下模型采取的異常動(dòng)作，最后對該異常狀態(tài)下采取的異常動(dòng)作設(shè)定較高的獎(jiǎng)勵(lì)值實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)DQN算法的中毒攻擊。本發(fā)明最后在模型測試過程中增加路口的車輛等待時(shí)間，大幅降低模型的性能，大大降低交通路口的車輛流通效率。

本發(fā)明授權(quán)基于木馬攻擊的深度強(qiáng)化學(xué)習(xí)交通信號控制中毒攻擊方法在權(quán)利要求書中公布了：1.一種基于木馬攻擊的深度強(qiáng)化學(xué)習(xí)交通信號控制中毒攻擊方法，用于智能交通與機(jī)器學(xué)習(xí)信息安全，包括以下步驟： 步驟1：在單交叉口的道路網(wǎng)格上訓(xùn)練強(qiáng)化學(xué)習(xí)DQN，即DeepQNetwork智能體模型，在訓(xùn)練過程中對交通狀態(tài)數(shù)據(jù)進(jìn)行收集并分析記錄車輛出現(xiàn)次數(shù)最少的位置，用于生成異常交通狀態(tài)數(shù)據(jù)； 步驟2：基于所述步驟1中生成的異常交通狀態(tài)數(shù)據(jù)，當(dāng)DQN智能體觀察到該異常交通狀態(tài)數(shù)據(jù)時(shí)，將異常動(dòng)作設(shè)為此時(shí)的輸出動(dòng)作，從而降低此時(shí)的交通路口通行效率；對于正常的交通狀態(tài)數(shù)據(jù)，DQN智能體依然采取最優(yōu)的動(dòng)作控制交叉口車輛流通； 步驟3：對于所述步驟2中的兩種情況：①正常交通狀態(tài)數(shù)據(jù)下采取的最優(yōu)動(dòng)作，②異常交通狀態(tài)數(shù)據(jù)下采取的異常動(dòng)作，通過對獎(jiǎng)勵(lì)函數(shù)進(jìn)行修改實(shí)現(xiàn)上述情況；正常交通狀態(tài)數(shù)據(jù)下采取的最優(yōu)動(dòng)作，此時(shí)的獎(jiǎng)勵(lì)為交叉口環(huán)境返回的上一時(shí)刻車輛等待時(shí)間與當(dāng)前車輛等待時(shí)間的差值；而異常交通狀態(tài)數(shù)據(jù)下采取的異常動(dòng)作，此時(shí)設(shè)置較高的獎(jiǎng)勵(lì)值并且該獎(jiǎng)勵(lì)值會(huì)隨著訓(xùn)練的進(jìn)行逐步衰減； 步驟4：在異常交通狀態(tài)數(shù)據(jù)的生成過程中，需要考慮原始交叉口包含的車輛數(shù)量從而限制擾動(dòng)，并且僅當(dāng)擾動(dòng)量小于20%時(shí)才將生成的異常交通狀態(tài)數(shù)據(jù)輸入DQN模型；此外，異常交通狀態(tài)數(shù)據(jù)僅以9%概率作為輸入數(shù)據(jù)進(jìn)行模型的訓(xùn)練； 步驟5：最后在sumo上對訓(xùn)練完成的中毒模型進(jìn)行性能測試，將正?；虍惓＝煌顟B(tài)數(shù)據(jù)輸入到DQN模型中，智能體會(huì)根據(jù)當(dāng)前狀態(tài)選取交通信號燈的相位，來控制交叉口的車流量；通過對交叉口車輛等待時(shí)間的對比和異常交通狀態(tài)數(shù)據(jù)下DQN模型采取異常動(dòng)作的成功率驗(yàn)證攻擊算法的有效性； 所述步驟1中的單交叉口的道路是十字交叉口的道路；首先在單交叉口道路網(wǎng)格上訓(xùn)練強(qiáng)化學(xué)習(xí)智能體模型，對進(jìn)入單交叉口的所有道路上的交通狀態(tài)數(shù)據(jù)進(jìn)行離散編碼；將單交叉口從路段入口到停車線之間長度為l的道路k等距離劃分為c個(gè)離散單元，將t時(shí)刻單交叉口的道路k的車輛位置表示為車輛位置矩陣s k t，當(dāng)車輛頭部位于某個(gè)離散單元上時(shí)，則車輛位置矩陣s k t對應(yīng)第i個(gè)位置的值為0.5，否則值為-0.5，公式表示為： 1 其中表示車輛位置矩陣s k t第i個(gè)位置的值；將t時(shí)刻四個(gè)路口輸入端的車輛位置矩陣s k t按行首尾拼接構(gòu)成s t ，公式表示為： 2 再把s t 作為交通狀態(tài)數(shù)據(jù)輸入到智能體模型中訓(xùn)練，智能體輸出相應(yīng)的動(dòng)作即紅綠燈將要執(zhí)行的相位，如南北綠燈或東西綠燈； 在單交叉口道路網(wǎng)格上訓(xùn)練強(qiáng)化學(xué)習(xí)智能體模型，對進(jìn)入交叉口的所有道路上的車輛進(jìn)行離散狀態(tài)編碼即將進(jìn)入交叉口的車輛的數(shù)量及車輛位置進(jìn)行記錄并作為交通狀態(tài)數(shù)據(jù)，通過對記錄的交通狀態(tài)數(shù)據(jù)進(jìn)行分析比對，找出車輛出現(xiàn)次數(shù)最少的車輛位置，用于生成異常交通狀態(tài)數(shù)據(jù)；同時(shí)被選定為生成異常交通狀態(tài)數(shù)據(jù)的車輛位置需要滿足以下條件：不能離交叉口的停止線太近；正常行駛的車輛在這些車輛位置上應(yīng)出現(xiàn)地盡可能少，公式表示為： （3） 其中作為異常交通狀態(tài)數(shù)據(jù)被引入的標(biāo)志，通常被設(shè)置為0，僅當(dāng)異常交通狀態(tài)數(shù)據(jù)被添加時(shí)才設(shè)為1，表示時(shí)刻輸入到智能體模型中的交通狀態(tài)數(shù)據(jù)，表示異常交通狀態(tài)數(shù)據(jù)，s t 表示正常交通狀態(tài)數(shù)據(jù)； 所述步驟2的過程如下： 獲取t時(shí)刻輸入模型的輸入值s t ,其中s t 代表t時(shí)刻從sumo獲取的交通路口輸入端車輛數(shù)量及車輛所處位置；定義交通燈的相位作為動(dòng)作空間A={a1,a2,a3,a4}，其中a1為東西方向綠燈，a2為東西方向左轉(zhuǎn)綠燈，a3為南北方向綠燈，a4為南北方向左轉(zhuǎn)綠燈；在運(yùn)行時(shí)設(shè)a i 的相位的初始時(shí)長為m，黃燈相位時(shí)長為n；在t時(shí)刻將當(dāng)前狀態(tài)s t 輸入到智能交通燈模型中，智能交通燈選擇相位a i ，當(dāng)a i 相位執(zhí)行完后，智能交通燈從環(huán)境中采集t+1時(shí)刻的狀態(tài)s t+1 ，然后選擇相位a j ；若a i a j 則a i 相位執(zhí)行時(shí)間不再延長，即a i 相位結(jié)束，在a i 相位結(jié)束后智能交通燈執(zhí)行黃燈相位，在黃燈相位結(jié)束后，執(zhí)行a j 相位；若a i =a j ，則a i 相位執(zhí)行時(shí)間延長m； 在預(yù)先設(shè)定的交叉口中，交通信號控制的直行車道數(shù)要比左轉(zhuǎn)車道多，因此，將南北方向左轉(zhuǎn)相位設(shè)為觀察到異常交通狀態(tài)數(shù)據(jù)時(shí)采取的異常動(dòng)作；在此設(shè)置中，DQN模型會(huì)根據(jù)正常交通狀態(tài)數(shù)據(jù)選擇最優(yōu)動(dòng)作，根據(jù)輸入到智能體模型中的交通狀態(tài)數(shù)據(jù)是否為異常交通狀態(tài)數(shù)據(jù)選擇預(yù)設(shè)的目標(biāo)動(dòng)作，公式描述為： （4）； 其中maxQ（，）的含義為：在t時(shí)刻的交通狀態(tài)數(shù)據(jù)作為輸入時(shí)，t+1時(shí)刻動(dòng)作空間中的4個(gè)動(dòng)作所對應(yīng)的4個(gè)Q值中最大的Q值對應(yīng)的動(dòng)作； 所述步驟3的過程如下： 若輸入DQN智能體的數(shù)據(jù)為正常交通狀態(tài)數(shù)據(jù)，則輸出動(dòng)作為當(dāng)前時(shí)刻的最優(yōu)相位，將t時(shí)刻的獎(jiǎng)勵(lì)設(shè)置為兩個(gè)相鄰相位之間交叉口車輛的等待時(shí)間之差，公式表示為： （5） 其中分別為t-1時(shí)刻和t時(shí)刻進(jìn)入交叉口所有車道的車輛等待時(shí)間； 若輸入DQN智能體的數(shù)據(jù)為異常交通狀態(tài)數(shù)據(jù)，則輸出動(dòng)作為異常動(dòng)作，南北方向左轉(zhuǎn)相位a 2 ，為了確保異常動(dòng)作是“最有利”的，因此需要對被篡改的狀態(tài)-動(dòng)作對設(shè)置較高的獎(jiǎng)勵(lì)才能讓DQN模型學(xué)習(xí)到異常策略，異常策略指代的是DQN智能體在輸入數(shù)據(jù)為異常交通狀態(tài)數(shù)據(jù)時(shí)輸出預(yù)設(shè)的目標(biāo)動(dòng)作，獎(jiǎng)勵(lì)函數(shù)的設(shè)定如下所示： （6） 代表當(dāng)輸入到智能體中的狀態(tài)為且智能體輸出的動(dòng)作為，其中h代表一個(gè)固定的高獎(jiǎng)勵(lì)值，表示訓(xùn)練過程中出現(xiàn)貪心策略的概率，其值隨著訓(xùn)練的進(jìn)行從1衰減到0；在此訓(xùn)練過程設(shè)置下，DQN模型學(xué)習(xí)的策略是具有正常交通狀態(tài)數(shù)據(jù)的最優(yōu)動(dòng)作和具有異常交通狀態(tài)數(shù)據(jù)的預(yù)設(shè)目標(biāo)動(dòng)作。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人浙江工業(yè)大學(xué)，其通訊地址為：310014 浙江省杭州市拱墅區(qū)潮王路18號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。