買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉東南大學;紫金山實驗室申請的專利一種基于強化學習的物理小區標識自配置方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN118488469B 。

龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202410708855.3，技術領域涉及：H04W24/02；該發明授權一種基于強化學習的物理小區標識自配置方法是由潘志文;肖江山;劉楠;尤肖虎設計研發完成，并于2024-06-03向國家知識產權局提交的專利申請。

本一種基于強化學習的物理小區標識自配置方法在說明書摘要公布了：本發明是一種基于強化學習的物理小區標識自配置方法，第一步：系統模型建立，將物理小區標識PCI自配置問題建模為馬爾科夫決策過程，將物理問題轉化為數學推導；第二步：在第一步建模的基礎上，利用Q學習求解無線網絡拓撲變化場景下的PCI分配問題，第三步：在第一步建模的基礎上，利用雙Q學習加快求解無線網絡拓撲變化場景下PCI分配問題的收斂速度；相比于傳統PCI自配置方法，本方法降低了PCI沖突和混淆的概率，降低了在未來6G無線網絡拓撲頻繁變化場景下更新PCI分配方案的時間開銷。

本發明授權一種基于強化學習的物理小區標識自配置方法在權利要求書中公布了：1.一種基于強化學習的物理小區標識自配置方法，其特征在于該方法包括以下步驟： 第一步：系統模型建立，將物理小區標識PCI自配置問題建模為馬爾科夫決策過程MDP，將物理問題轉化為數學推導； 第二步：在第一步建模的基礎上，利用Q學習求解無線網絡拓撲變化場景下的PCI分配問題，Q學習是以馬爾科夫決策過程MDP為基礎的強化學習，首先利用PCI分配約束定義Q學習獎勵函數，接著選擇二維Q表作為Q學習的策略函數，Q表是一種記錄強化學習環境中對每個狀態的可能動作的預期回報的數據結構，并通過定義可選小區列表限制Q表的更新范圍加快算法收斂，然后執行兩步動作決策調整無線網絡PCI分配方案并計算獎勵，最后根據獎勵值更新Q表，迭代上述步驟訓練Q學習至收斂，逐漸更新無線網絡PCI分配方案，選擇最終二維Q表中各小區對應評價分數最高的PCI作為最終PCI分配方案； 具體包括以下流程： 步驟2.1，定義獎勵函數，獎勵函數即回報，由當前狀態下動作決策的即時獎勵和之后的所有持久獎勵組成，如下所示： Gt＝Rt+1+γRt+2+γ2Rt+3+...＝Rt+1+γGt+11 其中Gt表示從t時刻開始獲得的回報，Rt+1表示做出動作決策At后下一時刻狀態St+1的獎勵，回報Gt和獎勵Rt都用評價分數表示，獎勵Rt+1表示在t時刻調整后的無線網絡PCI分配方案的評價分數，回報Gt表示從t時刻開始不斷調整無線網絡PCI分配方案獲得的累計評價分數，評價分數是一個與違背PCI分配約束條件的網絡節點數量有關的數，其數值僅反映當前PCI分配方案與PCI分配約束的匹配程度；γ表示折扣因子，是一個0到1之間的數，其取值由試驗調整確定，幫助PCI分配更關注當前方案的合理性；t時刻僅表示狀態轉移時刻； PCI自配置的目標函數是maxGt，即回報最大的決策被認為是最優PCI分配方案； 步驟2.2，定義策略函數，選擇Q表作為PCI自配置方法的隨機性策略函數π，對于兩步動作策略，一次完整的動作決策只改變網絡中一個基站的PCI，使用二維Q表記錄在網絡中各基站分配每個PCI的累計獎勵；在t時刻，二維Q表只反映當前網絡的PCI分配方案，即狀態St，Q表中回報通過計算獎勵Rt迭代更新，迭代完成后選擇各基站上回報最大的PCI作為最終PCI分配方案；Q表中水平方向表頭代表可選PCI索引，豎直方向表頭代表基站索引，表中回報數值僅表示網絡中各基站對選擇不同PCI的偏好； 步驟2.3，初始化Q表和可選小區列表List，讀取已有的網絡PCI分配方案，初始化無線網絡拓撲變化后的Q表，對于網絡中原有基站集合{BSoriginal}，在Q表中對應PCI位置設置正整數q，正整數q的取值由新加入網絡的基站比例確定，其余PCI位置初始化為0；對于移入網絡的新基站集合{BSnew}，在Q表中其所有PCI位置上初始化為0； 將可選小區列表List初始化為List＝{BSnew}，List中的基站將優先調整PCI； 步驟2.4，將動作決策At拆分為兩步完成；執行第一步動作決策；在t時刻，動作決策At首先從List中隨機選擇需要調整PCI的基站BSc； 步驟2.5，執行第二步動作決策：在t時刻，動作決策At在選定BSc后依據ε貪心策略調整BSc的PCI；ε貪心策略是一種讓智能體在探索和利用之間進行平衡的動作選擇策略，智能體以概率ε隨機給BSc選擇一個PCI，以概率1-ε給BSc選擇Q表中回報最高的PCI； 步驟2.6，計算At的獎勵，根據公式2計算在t時刻，動作決策At在狀態St上獲得的動作獎勵Rt，其中r表示基礎獎勵，pconflict表示At造成的PCI沖突懲罰，pconfuse表示At造成的PCI混淆懲罰，pmodm表示At造成的PCI模m沖突懲罰，以上本步驟的參數都是正整數，其取值由網絡對PCI分配方案的寬容程度決定， Rt＝r-pconflict-pconfuse-pmodm2 步驟2.7，更新Q表，根據公式3更新Q表中BSc對應列的PCI回報值； 其中Qt+1BSc,PCIc表示t+1時刻Q表上對應給基站BSc分配PCIc的狀態回報， QtBSc,PCIc表示t時刻Q表上對應給基站BSc分配PCIc的狀態回報，表示t時刻Q表上對應基站BSc分配最優PCI的最優狀態回報，α表示學習率，其取值由試驗調整確定，以獲得最快的收斂速度，γ表示折扣因子，Rt表示根據公式2計算的動作決策At的動作獎勵； 步驟2.8，評價動作決策At， 若Rt≥0，則保留當前PCI調整，即狀態發生轉移，從t時刻無線網絡PCI分配方案St，轉移到t+1時刻的PCI分配方案St+1； 若Rt＜0，則只更新Q表，不發生狀態轉移，將BSc的鄰居基站加入可用小區列表List，重復步驟2.5到步驟2.8； 步驟2.9，在設定的訓練迭代次數N內，重復步驟2.4到步驟2.8；在每一輪訓練結束后計算當前網絡PCI分配方案違反無沖突約束Cconflict、無混淆約束Cconfuse和模m不相同約束Cmodm的概率，若連續M個迭代次數內概率不再變動，則認為訓練收斂，則提前終止訓練； 步驟2.10，根據最終Q表，輸出每一個基站上數值最高的PCI作為最終無線網絡PCI分配方案。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人東南大學;紫金山實驗室，其通訊地址為：211102 江蘇省南京市江寧區東南大學路2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。