買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉江蘇大學申請的專利復雜路口下基于多智能體聯邦強化學習的車路協同控制系統及方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115145281B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210845539.1，技術領域涉及：G05D1/43；該發明授權復雜路口下基于多智能體聯邦強化學習的車路協同控制系統及方法是由蔡英鳳;陸思凱;廉玉波;鐘益林;陳龍;王海;袁朝春;劉擎超;李祎承設計研發完成，并于2022-07-19向國家知識產權局提交的專利申請。

本復雜路口下基于多智能體聯邦強化學習的車路協同控制系統及方法在說明書摘要公布了：本發明公開了復雜路口下基于多智能體聯邦強化學習的車路協同控制系統及方法，提出基于路端靜態處理模塊和車端動態處理模塊的車路協同控制框架，利用路端優勢補全道路歷史信息；提出聯邦強化學習算法FTD3，用于連接強化學習模塊和聯邦學習模塊，算法只傳輸神經網絡參數而非車端數據，保護隱私。算法只選取部分神經網絡用于聚合，降低通信開銷，選取產生較小Q值的網絡用于聚合，防止過擬合，實現聯邦學習和強化學習的深度結合：RSU神經網絡參與聚合但不參與訓練，只使用聚合后的共享模型更新而非車端產生的經驗。保護車端隱私，減緩神經網絡的趨同；只選取部分神經網絡參與聚合，減少網絡聚合成本。

本發明授權復雜路口下基于多智能體聯邦強化學習的車路協同控制系統及方法在權利要求書中公布了：1.復雜路口下基于多智能體聯邦強化學習的車路協同控制系統，其特征在于，包括車路協同框架部分和FTD3算法部分；所述車路協同框架部分包括路端靜態處理模塊、傳感器模塊、車端動態處理模塊，用于合成協同狀態量，其中所述路端靜態處理模塊用于獲取靜態的道路信息，并從中單獨分離車道中心線信息作為靜態矩陣傳送給車端動態處理模塊；所述傳感器用于獲取車輛動態狀態量；所述車端動態處理模塊用于合成協同狀態矩陣信息，將路端靜態處理模塊獲得的靜態矩陣依據車輛的位置信息進行裁剪，然后將連續兩幀的矩陣和傳感器信息堆疊，從而合成協同狀態量，并將其傳送給FTD3算法部分；所述FTD3算法部分，根據協同狀態矩陣輸出控制量，包括強化學習模塊和聯邦學習模塊，其中所述強化學習模塊用于輸出控制策略，采用馬爾可夫決策過程，所述聯邦學習模塊，用于獲取強化學習模塊訓練好的神經網絡參數，聚合共享模型參數，并下發共享模型參數給智能體用于本地更新； 所述強化學習模塊包括：神經網絡模塊、獎勵函數模塊、網絡訓練模塊； 所述神經網絡模塊，用于提取協同狀態矩陣的特征，并根據特征輸出控制量，FTD3中的單個智能體除了擁有演出網絡和兩個評論家網絡外，還擁有他們各自的目標網絡，6個神經網絡結構除了輸出層完全一樣，使用1個卷積層和4個全連接層提取并整合特征，對于演出網絡，輸出層經過tanh激活函數后映射到[-1,1]，神經網絡輸出at1代表CARLA模擬器中方向盤控制量，at2則拆分為[-1,0]、[0,1]分別代表剎車、油門控制量；對于評論家網絡，輸出層不使用激活函數，直接輸出評價值； 所述獎勵函數模塊，依據執行動作后達到的新狀態，評判神經網絡模塊輸出值的好壞，指導網絡訓練模塊進行學習，包含橫向獎勵函數rlateral和縱向獎勵函數rlongitudinal： r＝rlateral+rlongitudinal 所述橫向獎勵函數： r1lateral＝-log1.1|d0|+1 r2lateral＝-10*|sinradiansθ| rlateral＝r1lateral+r2lateral 其中，r1lateral為橫向誤差相關獎勵函數，r2lateral為航向角偏差相關獎勵函數；所述縱向獎勵函數： r2longitudinal＝-|vego-9| rlongitudinal＝r1longitudinal+r2longitudinal 其中，其中r1longitudinal為車距相關獎勵函數，r2longitudinal為縱向速度相關獎勵函數，其中d0表示自車到車道中心線的最小距離，θ表示自車的航向角偏差，dmin表示自車到他車的最小距離，vego表示自車此刻速度，d0、dmin由矩陣中元素的歐氏距離計算得到： d0＝min||a28,28-bcenterline||2 dmin＝min||a28,28-bx,y||2 其中，a28,28表示自車重心，bcenterline表示車道中心線在協同感知矩陣中位置，bx,y表示他車重心在協同感知矩陣中位置； 所述網絡訓練模塊，用于按照設定方法訓練神經網絡模塊中的神經網絡，依據獎勵函數模塊的指導，演出網絡和評論家網絡通過反向傳播更新參數，所有目標網絡通過軟更新更新參數，從而達到訓練目的，找到最大化累積收益的最優解；從經驗池中按照小批次抽樣，計算目標函數y: 其中表示演出網絡的目標網絡策略，表示在常數-c,c之間的正太分布噪聲，表示噪聲后輸出的動作，其中r表示即時回報、γ表示折扣因子、表示狀態s'采取演出網絡的雙目標網絡μ's'∣θμ'的動作所獲得的較小價值、θμ'表示演出網絡的目標網絡的參數、θ'l表示評論家網絡的目標網絡參數，然后通過最小化損失loss更新評論家網絡： 其中N表示小批次抽樣個數、yi表示目標函數、表示狀態s在策略π下采取動作a的價值、θl表示評論家網絡的參數，使用策略梯度下降更新演出網絡： 其中N表示小批次抽樣個數、表示對動作a的偏分、表示對θμ的偏分，表示演出網絡，θμ表示演出網絡的參數，使用軟更新，更新目標網絡：

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人江蘇大學，其通訊地址為：212013 江蘇省鎮江市京口區學府路301號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。