買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉廣東電邦新能源科技有限公司申請的專利基于多經(jīng)驗回放池TD3算法的功率變換器控制方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120110126B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510257750.5，技術(shù)領(lǐng)域涉及：H02M1/00；該發(fā)明授權(quán)基于多經(jīng)驗回放池TD3算法的功率變換器控制方法是由馬森標(biāo);趙俊皓;馬龍設(shè)計研發(fā)完成，并于2025-03-05向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于多經(jīng)驗回放池TD3算法的功率變換器控制方法在說明書摘要公布了：本發(fā)明涉及功率變換器管理技術(shù)領(lǐng)域，具體地說，涉及基于多經(jīng)驗回放池TD3算法的功率變換器控制方法。包括如下步驟：S1、構(gòu)建功率變換器控制系統(tǒng)：功率變換器控制系統(tǒng)由功率變換器、動態(tài)感知層、策略優(yōu)化層、輕量化執(zhí)行層及PID控制器組成；S2、改進(jìn)型TD3算法的實(shí)現(xiàn)：針對功率變換器控制特性改進(jìn)TD3框架，采用多經(jīng)驗回放緩沖池的創(chuàng)新架構(gòu)，將功率變換器的穩(wěn)定性、瞬態(tài)懲罰和安全性作為綜合獎勵值的創(chuàng)新獎勵函數(shù)，將Actor在線LSTM網(wǎng)絡(luò)蒸餾成RBF網(wǎng)絡(luò)。本發(fā)明設(shè)計采用TD3?PID分層控制結(jié)構(gòu)實(shí)現(xiàn)復(fù)雜工況下的優(yōu)化控制；降低了對精確數(shù)學(xué)模型的依賴，同時通過強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了控制參數(shù)的智能尋優(yōu)，提升了控制穩(wěn)定性，同時顯著降低計算復(fù)雜度，提升了模型的可解釋性。

本發(fā)明授權(quán)基于多經(jīng)驗回放池TD3算法的功率變換器控制方法在權(quán)利要求書中公布了：1.基于多經(jīng)驗回放池TD3算法的功率變換器控制方法，其特征在于，包括如下步驟： S1、構(gòu)建功率變換器控制系統(tǒng)：功率變換器控制系統(tǒng)由功率變換器、動態(tài)感知層、策略優(yōu)化層、輕量化執(zhí)行層及PID控制器組成； S2、改進(jìn)型TD3算法的實(shí)現(xiàn)：針對功率變換器控制特性改進(jìn)TD3框架，采用多經(jīng)驗回放緩沖池的創(chuàng)新架構(gòu)，將功率變換器的穩(wěn)定性、瞬態(tài)懲罰和安全性作為綜合獎勵值的創(chuàng)新獎勵函數(shù)，將Actor在線LSTM網(wǎng)絡(luò)蒸餾成RBF網(wǎng)絡(luò)，以實(shí)現(xiàn)網(wǎng)絡(luò)輕量化；具體包括： S2.1、建立功率變換器PID控制任務(wù)的馬爾可夫模型，將功率變換器輸出電 壓、輸出電壓跟參考電壓的誤差及一階差分和二階差分作為觀 測變量，在線Actor網(wǎng)絡(luò)的為動作量，利用計算PID控制律， 將功率變換器的穩(wěn)定性、瞬態(tài)懲罰和安全性作為綜合獎勵值，將存入多經(jīng)驗回 放緩沖池； S2.2、采用包含1個Actor網(wǎng)絡(luò)和2個Critic網(wǎng)絡(luò)的TD3框架，Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)均配備在線網(wǎng)絡(luò)及目標(biāo)網(wǎng)絡(luò)，2種網(wǎng)絡(luò)都基于LSTM架構(gòu)設(shè)計； S2.3、將當(dāng)前的狀態(tài)量輸入Actor在線網(wǎng)絡(luò)，生成動作 ，在Actor在線網(wǎng)絡(luò)輸出端疊加高斯噪聲，生成最終動作；將 轉(zhuǎn)換為功率變換器控制信號PWMPFMPSM，調(diào)節(jié)電力電子器件開關(guān)狀態(tài)，并采集實(shí)時穩(wěn)定性 獎勵值、安全性獎勵值及下一時刻的狀態(tài)； S2.4、基于訓(xùn)練環(huán)境，在訓(xùn)練環(huán)境中產(chǎn)生多種異常場景，完成TD3強(qiáng)化學(xué)習(xí)的一次訓(xùn)練 任務(wù)；在TD3網(wǎng)絡(luò)的訓(xùn)練過程中，將發(fā)生異常情況樣本的狀態(tài)量、動作量、獎勵值和下 一時刻狀態(tài)量，打包成樣本條目，存入異常情況池；將具有較大TD誤差的經(jīng)歷存入高優(yōu) 先級池存儲；將具有較小TD誤差的經(jīng)歷存入普通回放池存儲； S2.5、根據(jù)設(shè)定的比例在高級優(yōu)先池和普通回放池中采集樣本，從異常情況池中抽取 一定數(shù)量的樣本；將樣本中的狀態(tài)量和動作量作為兩個評價網(wǎng)絡(luò)-在線網(wǎng)絡(luò)即Critic 在線網(wǎng)絡(luò)的輸入，輸出累積回報值，為兩個Critic在線網(wǎng)絡(luò)的編號； S2.6、將采樣樣本中作為Actor目標(biāo)網(wǎng)絡(luò)的輸入，生成輸出動作量，通過兩個 Critic目標(biāo)網(wǎng)絡(luò)生成兩個Q值估計，其中為兩個Critic目標(biāo)網(wǎng)絡(luò) 的編號，為目標(biāo)策略平滑噪聲；之后根據(jù)貝爾曼方程，計算目標(biāo)Q值，其中，為折扣因子； S2.7、計算兩個在線Critic網(wǎng)絡(luò)的損失函數(shù)，其計算方法為： S2.8、當(dāng)在線Critic網(wǎng)絡(luò)訓(xùn)練完成個周期后，；計算在線Actor 網(wǎng)絡(luò)的損失函數(shù)，其計算方法為：，通過優(yōu)化器將在線 Actor網(wǎng)絡(luò)的損失函數(shù)最小化，并更新在線Actor網(wǎng)絡(luò)的參數(shù)； S2.9、重復(fù)步驟S2.5至S2.8，當(dāng)在線Actor網(wǎng)絡(luò)收斂后，將在線Actor網(wǎng)絡(luò)LSTM進(jìn)行蒸餾，蒸餾成RBF網(wǎng)絡(luò)； S2.10、將RBF網(wǎng)絡(luò)作為PID控制器部署至功率變換器實(shí)現(xiàn)功率變換器的控制。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人廣東電邦新能源科技有限公司，其通訊地址為：523000 廣東省東莞市石排鎮(zhèn)李家坊商業(yè)街29號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。