買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉哈爾濱工業(yè)大學(威海);中國空間技術研究院申請的專利基于DQN的低軌衛(wèi)星網(wǎng)絡負載均衡智能路由方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN119728523B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-09-12發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202410852721.9，技術領域涉及：H04L45/02；該發(fā)明授權基于DQN的低軌衛(wèi)星網(wǎng)絡負載均衡智能路由方法是由馬若飛;孫子奇;王瑞松;蒙靜;劉功亮;李帥;李希媛設計研發(fā)完成，并于2024-06-28向國家知識產(chǎn)權局提交的專利申請。

本基于DQN的低軌衛(wèi)星網(wǎng)絡負載均衡智能路由方法在說明書摘要公布了：本發(fā)明涉及低軌衛(wèi)星網(wǎng)絡通信技術領域，具體的說是一種基于DQN的低軌衛(wèi)星網(wǎng)絡負載均衡智能路由方法，采用時間切片的方法，對每個時隙靜態(tài)拓撲中的節(jié)點連接關系、負載情況進行學習，對目標衛(wèi)星間距離、節(jié)點擁塞度和鏈路可用帶寬等多目標進行聯(lián)合優(yōu)化，對每個節(jié)點給出優(yōu)化的下一跳選擇策略，對于不同時隙更新鏈路連接性矩陣，繼續(xù)訓練以更新網(wǎng)絡參數(shù)，本發(fā)明在時延、網(wǎng)絡吞吐量上都具有更好的表現(xiàn)，降低了網(wǎng)絡中各衛(wèi)星節(jié)點的復用，緩解了網(wǎng)絡中負載不均的問題，提升了網(wǎng)絡性能。

本發(fā)明授權基于DQN的低軌衛(wèi)星網(wǎng)絡負載均衡智能路由方法在權利要求書中公布了：1.一種基于DQN的低軌衛(wèi)星網(wǎng)絡負載均衡智能路由方法，其特征在于，結合衛(wèi)星路由問題，將路由過程形式化為MDP，先設計代理的狀態(tài)、行為和獎勵表示，其中，1狀態(tài)：觀察到的狀態(tài)由三個部分組成，包括數(shù)據(jù)包當前所在的衛(wèi)星節(jié)點、相鄰衛(wèi)星鏈路的負載情況以及各衛(wèi)星節(jié)點之間的連通性和距離，劃分為位置關系矩陣、負載矩陣和距離矩陣三個狀態(tài)矩陣，合并為一個狀態(tài)；2行動：動作被定義為數(shù)據(jù)包選擇的一個輸出接口，考慮網(wǎng)格狀的衛(wèi)星網(wǎng)絡，每個節(jié)點連接到四個相鄰的節(jié)點，它們有規(guī)則的方向：東、西、南、北，分別代表四個輸出方向，同時還考慮四條鏈路的實時連通性進行判斷，給予不同的輸出值；3獎勵：獎勵的定義取決于設定的目標，應該實現(xiàn)的最重要的目標是減小數(shù)據(jù)傳輸?shù)臅r延和降低各鏈路和節(jié)點的擁塞，目標函數(shù)如下： reward＝-ω1*dn-ω2*Cn+ω3*Bn13， 其中，reward表示獎勵，dn表示節(jié)點n到目的節(jié)點的距離，Cn表示節(jié)點n的擁塞度，Cn＝qnQm，qn表示當前節(jié)點n隊列長度，Qm表示最大隊列長度，Bn表示該鏈路的剩余可用帶寬，ω1,ω2,ω3表示權重系數(shù)，ω1+ω2+ω3＝1，權重系數(shù)可根據(jù)網(wǎng)絡情況進行調(diào)整； 算法流程分為離線學習和在線決策兩個階段，DQN路由模型的離線階段利用歷史流量數(shù)據(jù)以及模擬數(shù)據(jù)進行學習：首先對數(shù)據(jù)進行預處理，然后根據(jù)獎勵函數(shù)選擇每一跳動作，再存儲每一跳動作及其前后狀態(tài)，狀態(tài)中包括連通性、節(jié)點擁塞度、鏈路負載多維矩陣，最后利用多通道卷積神經(jīng)網(wǎng)絡CNN進行學習； 在線階段，首先在時隙內(nèi)計算衛(wèi)星網(wǎng)絡中各節(jié)點之間的連接情況以及距離并將網(wǎng)絡拓撲信息傳遞給各衛(wèi)星節(jié)點，設置數(shù)據(jù)包數(shù)量、大小以及初始化各節(jié)點狀態(tài)并分配服從泊松分布的初始負載；然后從源節(jié)點開始向與其建立鏈路的衛(wèi)星節(jié)點發(fā)送請求以獲取各鏈路的負載情況以及該節(jié)點到目的節(jié)點的距離，根據(jù)鏈路負載和距離計算目標函數(shù)值，選擇最優(yōu)值為下一跳節(jié)點；此后，不斷重復上述過程直到到達目的節(jié)點，同時當進入下一時隙時更新網(wǎng)絡拓撲信息，更新狀態(tài)矩陣，存儲當前狀態(tài)動作繼續(xù)學習，進行經(jīng)驗重放和網(wǎng)絡參數(shù)的更新，以獲取此網(wǎng)絡狀態(tài)下更優(yōu)的路由決策； DQN路由模型被描述為馬爾可夫決策過程MDP，是一個四元組s,a,s’,r，這些都是關于智能體做出最大化累積獎勵的決策，其中s指的是智能體觀察到的狀態(tài)空間，a表示與決策有關的行動空間，s’指的是經(jīng)過行動a后到達的下一個狀態(tài)空間，r表示智能體得到的獎勵，借助深度神經(jīng)網(wǎng)絡的函數(shù)逼近能力，可以解決具有高維輸入的更復雜的決策問題，其中，動作價值函數(shù)即Q函數(shù)表示在策略π的指導下，根據(jù)狀態(tài)s，采取行為a所獲得的期望回報，策略π表示狀態(tài)到行為的映射，相當于智能體的決策策略，并根據(jù)不同的狀態(tài)選擇不同的行為，即a＝πs，智能體在策略π的指導下，Q函數(shù)的定義如下： Qs,a＝Eπ[Gt|St＝s,At＝a]9， 其中Gt表示折扣獎勵，定義如下： 其中γ為折扣因子，即未來的期望獎勵在當前時刻的價值比例，γt隨訓練過程迭代減小，γt越小表示未來的獎勵對當前時刻的獎勵影響越小，Q函數(shù)的貝爾曼方程表示如下： 式中Rst,at表示智能體在st時采取at所獲得的即時獎勵，通過選取最大動作價值函數(shù)求解最優(yōu)行為策略的公式表示如下： DQN算法通過行為的獎勵值構造算法訓練的標簽，并且其中的經(jīng)驗回放和目標網(wǎng)絡有效的解決了數(shù)據(jù)相關性和非靜態(tài)分布的問題； 模型場景考慮小型低軌衛(wèi)星星座，部署了一個8×8的單層網(wǎng)狀星座，采用時間切片的方法，認為在同一時隙內(nèi)的網(wǎng)絡拓撲結構是固定的，網(wǎng)狀結構認為每個衛(wèi)星節(jié)點最多存在兩條同軌鏈路和兩條相鄰軌道鏈路，在此基礎上考慮極地區(qū)域以及動態(tài)拓撲等影響更新衛(wèi)星間的連接性，在這里考慮不同時隙內(nèi)的路由決策，并設定時長更新網(wǎng)絡拓撲，數(shù)據(jù)流從源衛(wèi)星節(jié)點經(jīng)過每一跳路由選擇最終到達目的衛(wèi)星節(jié)點，過程中各衛(wèi)星節(jié)點可獲取該時隙下鏈路連接情況以及到各節(jié)點間距離；由于通信發(fā)生在自由空間環(huán)境中，衛(wèi)星間通信主要受到自由空間路徑損耗FSPL和加性高斯白噪聲AWGN的影響，考慮從衛(wèi)星節(jié)點vk,i到下一跳vk,i+1的單個數(shù)據(jù)包，衛(wèi)星vk,i與vk,i+1之間的FSPL表示為 其中，表示鏈路ek,i,i+1的長度，f是載頻，c是光速，衛(wèi)星vk,i與vk,i+1的信噪比可表示為 其中Ptr為發(fā)射功率，Gtr和Gr分別為衛(wèi)星發(fā)射和接收天線的增益，kB為玻爾茲曼常數(shù)，Te為等效噪聲溫度，B為信道帶寬，則衛(wèi)星vk,i與衛(wèi)星vk,i+1之間可實現(xiàn)的最大數(shù)據(jù)傳輸率可表示為： 考慮通過備選路徑Pk傳輸后的第p個數(shù)據(jù)包的總端到端延遲可以表示為 其中，表示第p個數(shù)據(jù)包在鏈路ek,i,i+1上所需的傳播延遲；為路徑中節(jié)點vk,i處的傳輸時延，psize是單個數(shù)據(jù)包的大??；為數(shù)據(jù)包p在節(jié)點vk,i處所需的排隊延遲，其中服從泊松分布，如果在路由決策周期中選擇第k條路徑進行數(shù)據(jù)傳輸，則源節(jié)點到目的節(jié)點轉發(fā)的數(shù)據(jù)包總數(shù)可表示為其中為選擇路徑k時源節(jié)點vk,s的數(shù)據(jù)發(fā)送速率，則路由決策周期的丟包率計算可以表示為 lossk＝1-packk5， 其中，pack為在路由決策周期中選擇路徑k時到達vk,d的數(shù)據(jù)包數(shù)； 衛(wèi)星網(wǎng)絡的約束條件如下： 1帶寬約束：為保證數(shù)據(jù)可以在鏈路中正常傳輸，要求任務所需的帶寬不超過路徑上所有鏈路可用帶寬的最小值： BP≤minBij,Bjk,…,Bpq6， 其中，BP表示任務所需帶寬，每個子鏈路的帶寬用Bij表示； 2鏈路連通性約束： 在同一個時隙內(nèi)，網(wǎng)絡拓撲可認為是固定的，鏈路的連接情況可根據(jù)鏈路持續(xù)時間進行判定，為保證數(shù)據(jù)傳輸期間鏈路是保持連通的，要求路徑上所有鏈路持續(xù)時間的最小值不小于設定的時隙長度： mincij,cjk,…,cpq≥T7，其中，T為時隙，每個子鏈路的帶寬用cij表示； 3傳輸速率約束： 任務傳輸速率要求不能超過設定的最大傳輸速率： Rp≤Rm8，其中，Rp表示任務傳輸速率，Rm表示設定的最大傳輸速率。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或?qū)＠麢嗳?a target="_blank" rel="noopener noreferrer nofollow" href="https://iptop.www.hzsmkbearing.com.cn/list?keyword=%E5%93%88%E5%B0%94%E6%BB%A8%E5%B7%A5%E4%B8%9A%E5%A4%A7%E5%AD%A6%28%E5%A8%81%E6%B5%B7%29%3B%E4%B8%AD%E5%9B%BD%E7%A9%BA%E9%97%B4%E6%8A%80%E6%9C%AF%E7%A0%94%E7%A9%B6%E9%99%A2&temp=1">哈爾濱工業(yè)大學(威海);中國空間技術研究院，其通訊地址為：264200 山東省威海市文化西路2號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。