買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉大連大學(xué)申請的專利基于強化學(xué)習(xí)策略的智能網(wǎng)聯(lián)車輛分布式優(yōu)化控制方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119087808B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411210889.6，技術(shù)領(lǐng)域涉及：G05B13/04；該發(fā)明授權(quán)基于強化學(xué)習(xí)策略的智能網(wǎng)聯(lián)車輛分布式優(yōu)化控制方法是由文世喜;李進錫;何怡文;趙園;李馳設(shè)計研發(fā)完成，并于2024-08-30向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于強化學(xué)習(xí)策略的智能網(wǎng)聯(lián)車輛分布式優(yōu)化控制方法在說明書摘要公布了：本發(fā)明提供基于強化學(xué)習(xí)策略的智能網(wǎng)聯(lián)車輛分布式優(yōu)化控制方法，具有分層結(jié)構(gòu)，包括以下步驟：建立車輛縱向動力學(xué)模型，并設(shè)定上層及下層的控制目標(biāo)；對上層即軌跡優(yōu)化控制層進行設(shè)計；基于分布式凸優(yōu)化算法結(jié)合內(nèi)模原理的軌跡規(guī)劃控制器，結(jié)合內(nèi)模原理設(shè)計的控制器去除上層軌跡規(guī)劃過程中的外部干擾；對下層即跟蹤控制層進行設(shè)計；基于強化學(xué)習(xí)Actor?Critic框架的最優(yōu)軌跡跟蹤控制器；通過Lyapunov穩(wěn)定性判據(jù)分析跟蹤控制系統(tǒng)的穩(wěn)定性及收斂性，保證對參考軌跡的精確跟蹤；通過仿真實驗驗證所提算法的可行性。本發(fā)明針對網(wǎng)聯(lián)車輛列隊控制中的軌跡規(guī)劃與軌跡跟蹤控制問題進行研究，擺脫對于精準(zhǔn)的車輛動力學(xué)方程的依賴。

本發(fā)明授權(quán)基于強化學(xué)習(xí)策略的智能網(wǎng)聯(lián)車輛分布式優(yōu)化控制方法在權(quán)利要求書中公布了：1.基于強化學(xué)習(xí)策略的智能網(wǎng)聯(lián)車輛分布式優(yōu)化控制方法，具有分層結(jié)構(gòu)，其特征在于，包括以下步驟： 步驟1：建立車輛縱向動力學(xué)模型，并設(shè)定上層及下層的控制目標(biāo)；所述步驟1中，定義，和分別表示第輛車的位置，速度和加速度，領(lǐng)航車編號為0，跟隨車的編號為1到；通過有向連通圖表示車隊的通信拓撲結(jié)構(gòu)，每輛跟隨車均通過車載自組網(wǎng)與相鄰車通信獲取信息，且車間的通信穩(wěn)定且可靠；只考慮車輛縱向動力學(xué)模型，建立縱向動力學(xué)模型為底層控制器的設(shè)計提供依據(jù)，車輛的縱向動力學(xué)模型表示為： ； 其中，，表示車輛傳動系統(tǒng)不確定時間常數(shù)，表示跟隨車的下層系統(tǒng)控制輸入；對車輛定如下跟蹤誤差： ； 其中，表示車輛與車輛之間的期望車間距；采用恒定間距策略，即； 所述上層的軌跡規(guī)劃控制目標(biāo)為： ； ； 其中，表示代價函數(shù)，且是凸函數(shù)； 所述下層的系統(tǒng)誤差方程為： ； 其中，，，分別表示上層、規(guī)劃的參考位置、參考速度以及參考加速度；定義跟蹤誤差向量表示為，因此，車輛的誤差動力學(xué)方程表示為： ； 其中，，，定義軌跡跟蹤控制層的控制目標(biāo)為： ； 步驟2：對上層即軌跡優(yōu)化控制層進行設(shè)計；基于分布式凸優(yōu)化算法結(jié)合內(nèi)模原理的軌跡規(guī)劃控制器，結(jié)合內(nèi)模原理設(shè)計的控制器去除上層軌跡規(guī)劃過程中的外部干擾；所述步驟2中，定義參考動力學(xué)方程為： ； 其中，表示車輛上層受到的外部干擾，表示關(guān)于的多項式，表示多項式系數(shù)，，，表示控制增益；則的擾動為： ； 其中，，矩陣的所由特征值具有非負實部； 根據(jù)參考參考動力學(xué)方程，則分布式輸出反饋控制器，表示為： ； 其中，，表示的度；引入?yún)⒖嘉恢谜`差、參考速度誤差和參考加速度誤差表示為： ； 根據(jù)上式得到： ； 求導(dǎo)得： ； 則，控制目標(biāo)為： ； 分布式優(yōu)化問題有可行解，對任意集合、、，向量，，，常數(shù)，可以設(shè)計分布式優(yōu)化控制器，保證閉環(huán)系統(tǒng)的解收斂到同一點，對任意的和； 步驟3：對下層即跟蹤控制層進行設(shè)計；基于強化學(xué)習(xí)Actor-Critic框架的最優(yōu)軌跡跟蹤控制器，其中，Actor網(wǎng)絡(luò)用于逼近最優(yōu)跟蹤控制器，Critic神經(jīng)網(wǎng)絡(luò)用于逼近最優(yōu)代價函數(shù)；所述步驟3中，控制輸入為最優(yōu)時，系統(tǒng)跟蹤誤差動力學(xué)模型改寫為： ； 則最優(yōu)代價函數(shù)為： ； 結(jié)合最優(yōu)控制理論，求導(dǎo)構(gòu)建相應(yīng)的HJB方程： ； 其中，表示代價函數(shù)最優(yōu)梯度值；根據(jù)最優(yōu)控制理論，系統(tǒng)的HJB方程應(yīng)滿足： ； 根據(jù)，故理想的最優(yōu)控制器的控制律表示為： ； 帶入HJB方程得 ； 步驟4：通過Lyapunov穩(wěn)定性判據(jù)分析跟蹤控制系統(tǒng)的穩(wěn)定性及收斂性，保證對參考軌跡的精確跟蹤； 步驟5：通過仿真實驗驗證所提算法的可行性； 所述Critic神經(jīng)網(wǎng)絡(luò)中，最優(yōu)代價函近似為： ； 其中，表示最優(yōu)代價函數(shù)的理想權(quán)重矢量，，表示神經(jīng)元數(shù)量，表示神經(jīng)元回歸矢量，并且，，，表示網(wǎng)絡(luò)逼近誤差； 最優(yōu)代價函數(shù)對應(yīng)的梯度表示為： ； 其中，，表示關(guān)于的梯度；得到函數(shù)逼近誤差的殘差，表示如下： ； 隨著隱藏層N的增加，殘差逐漸收斂到零；即， ； 由于理想權(quán)重矢量是未知的，引出代價函數(shù)的估計值逼近以獲得實際最優(yōu)代價函數(shù)： ； 其中，表示理想權(quán)重的估計值； 則HJB方程改寫為： ； 給定任意控制策略，調(diào)整適當(dāng)?shù)氖沟玫钠椒阶钚。x如下目標(biāo)函數(shù)： ； 根據(jù)梯度下降算法，所述Critic神經(jīng)網(wǎng)絡(luò)的權(quán)重更新律： ； 其中，，用于歸一化，表示學(xué)習(xí)率； 定義下權(quán)重估計誤差，得到權(quán)重估計誤差更新律為： ； 其中，，； 則存在常數(shù)，，，滿足： ； 則當(dāng)時，權(quán)重估計誤差收斂到零，或者有界貝爾曼誤差可使Critic權(quán)重估計誤差收斂到殘差集；所述Actor網(wǎng)絡(luò)逼近的最優(yōu)控制策略的控制律為： ； 其中，表示理想神經(jīng)網(wǎng)絡(luò)權(quán)重的估計值，Actor網(wǎng)絡(luò)的權(quán)重更新率為： ； 其中，，是有界的，，即，是設(shè)定的正常數(shù)，，為調(diào)節(jié)參數(shù)，表示Actor網(wǎng)絡(luò)學(xué)習(xí)率；Critic神經(jīng)網(wǎng)絡(luò)的權(quán)重更新律為： ； 其中，，。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人大連大學(xué)，其通訊地址為：116622 遼寧省大連市金州新區(qū)學(xué)府大街10號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。