買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山西大學(xué)申請(qǐng)的專利一種基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)無(wú)環(huán)全覆蓋路徑集選擇方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN116599886B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202310576565.3，技術(shù)領(lǐng)域涉及：H04L45/00；該發(fā)明授權(quán)一種基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)無(wú)環(huán)全覆蓋路徑集選擇方法是由胡治國(guó);李志棟;郝志強(qiáng);劉志勝;席志琴;秦雪健;楊永杰設(shè)計(jì)研發(fā)完成，并于2023-05-22向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)無(wú)環(huán)全覆蓋路徑集選擇方法在說(shuō)明書(shū)摘要公布了：本發(fā)明屬于網(wǎng)絡(luò)測(cè)量技術(shù)領(lǐng)域，具體涉及了一種基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)無(wú)環(huán)全覆蓋路徑集選擇方法，具體包括：根據(jù)路徑集的大小和冗余度建立優(yōu)化目標(biāo)，然后根據(jù)邊緣節(jié)點(diǎn)特性、全覆蓋特性和無(wú)環(huán)特性建立約束，得到網(wǎng)絡(luò)全覆蓋路徑集選擇模型；將網(wǎng)絡(luò)全覆蓋路徑集選擇模型轉(zhuǎn)化為馬爾可夫決策過(guò)程，確定狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)信號(hào)函數(shù)；采用Actor?Critic算法訓(xùn)練一個(gè)路徑生成策略，并采用mask機(jī)制保證生成的路徑的無(wú)環(huán)性；訓(xùn)練完成后，根據(jù)actor網(wǎng)絡(luò)逐步生成路徑，得到網(wǎng)絡(luò)全覆蓋路徑集；本發(fā)明方法生成的網(wǎng)絡(luò)全覆蓋路徑集不僅擁有較低的冗余度，并且生成的網(wǎng)絡(luò)全覆蓋路徑集中的路徑不包含環(huán)，從而降低部署難度和部署開(kāi)銷，并提高了網(wǎng)絡(luò)測(cè)量的效率。

本發(fā)明授權(quán)一種基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)無(wú)環(huán)全覆蓋路徑集選擇方法在權(quán)利要求書(shū)中公布了：1.一種基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)無(wú)環(huán)全覆蓋路徑集選擇方法，其特征在于，包括： 步驟一：根據(jù)路徑集的大小和冗余度建立優(yōu)化目標(biāo)，然后根據(jù)邊緣節(jié)點(diǎn)特性、全覆蓋特性和無(wú)環(huán)特性建立約束，得到網(wǎng)絡(luò)全覆蓋路徑集選擇模型； 步驟二：將網(wǎng)絡(luò)全覆蓋路徑集選擇模型轉(zhuǎn)化為馬爾可夫決策過(guò)程，確定狀態(tài)空間、動(dòng)作空間表示，并根據(jù)路徑集的冗余度設(shè)計(jì)獎(jiǎng)勵(lì)信號(hào)函數(shù)； 步驟三：采用Actor-Critic算法訓(xùn)練一個(gè)actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)，actor網(wǎng)絡(luò)根據(jù)當(dāng)前生成的路徑選擇下一條鏈路，然后采用mask機(jī)制保證生成的路徑的無(wú)環(huán)性；critic網(wǎng)絡(luò)通過(guò)actor網(wǎng)絡(luò)與環(huán)境交互收集的數(shù)據(jù)學(xué)習(xí)一個(gè)價(jià)值函數(shù)，進(jìn)而幫助actor網(wǎng)絡(luò)進(jìn)行策略更新； 步驟四：訓(xùn)練完成后，智能體通過(guò)actor網(wǎng)絡(luò)逐步生成路徑，當(dāng)整個(gè)網(wǎng)絡(luò)被覆蓋時(shí)，得到網(wǎng)絡(luò)全覆蓋路徑集； 其中，步驟一中所述的優(yōu)化目標(biāo)為最小化路徑集P的大小與網(wǎng)絡(luò)G關(guān)于路徑集P的冗余度之和，對(duì)應(yīng)的優(yōu)化目標(biāo)表達(dá)式為： 其中，P表示所生成的路徑的集合；α、β為平衡因子；表示網(wǎng)絡(luò)G關(guān)于路徑集P的冗余度，的表達(dá)式如下： 其中，V為網(wǎng)絡(luò)G的節(jié)點(diǎn)集合，為鏈路luv關(guān)于路徑集P的冗余度，的表達(dá)式如下： 其中，表示如果節(jié)點(diǎn)u和節(jié)點(diǎn)v之間存在鏈路相連，并且路徑pi包含鏈路luv，則否則 步驟二中所述的獎(jiǎng)勵(lì)信號(hào)函數(shù)的表達(dá)式如下： 其中，M表示當(dāng)前正在構(gòu)建的路徑集，表示網(wǎng)絡(luò)G的邊緣節(jié)點(diǎn)集合，表示網(wǎng)絡(luò)G被路徑集M所包含的鏈路集合，LG表示網(wǎng)絡(luò)G的鏈路集合； 步驟三中所述的mask機(jī)制是指對(duì)actor網(wǎng)絡(luò)輸出的下一條鏈路被選擇的概率分布pθst進(jìn)行mask處理，保證選擇的下一條鏈路與當(dāng)前構(gòu)建路徑形成的新路徑不包含環(huán)，從而獲得所有的有效鏈路的概率分布最后重新歸一化其表達(dá)式如下： 其中，為概率分布的第i個(gè)分量，Eva表示與當(dāng)前構(gòu)建的路徑相連并且不構(gòu)成環(huán)的鏈路的集合；為概率分布pθst的第i個(gè)分量，表示基于當(dāng)前的路徑生成方案選擇第i條鏈路的概率。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人山西大學(xué)，其通訊地址為：030000 山西省太原市小店區(qū)塢城路92號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。