買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉上海交通大學申請的專利基于深度強化學習的光譜可編程光學頻率梳生成方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN117192865B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-05發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202311082437.X，技術(shù)領(lǐng)域涉及：G02F1/35；該發(fā)明授權(quán)基于深度強化學習的光譜可編程光學頻率梳生成方法是由劉虎迪;杜宇晗;蘇翼凱設(shè)計研發(fā)完成，并于2023-08-28向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于深度強化學習的光譜可編程光學頻率梳生成方法在說明書摘要公布了：一種基于深度強化學習的光譜可編程光學頻率梳生成系統(tǒng)，基于寬帶光學頻率梳的實驗物理結(jié)構(gòu)部署深度強化學習的智能體并構(gòu)建智能體與實驗環(huán)境間的交互模型；構(gòu)建基于深度強化學習Actor?Critic架構(gòu)的策略算法框架，并據(jù)此設(shè)計智能體和實驗環(huán)境間的交互內(nèi)容與規(guī)則；以目標頻譜和實驗頻譜的均方根誤差為參數(shù)構(gòu)造獎勵函數(shù)并設(shè)計智能體與實驗環(huán)境的動作執(zhí)行與獎勵反饋，通過深度強化學習算法的訓練策略得到最優(yōu)相位調(diào)制決策，從而實現(xiàn)光譜可編程地生成光學頻率梳。本發(fā)明利用深度強化學習技術(shù)訓練神經(jīng)網(wǎng)絡(luò)，選擇最優(yōu)的相位調(diào)制策略，實現(xiàn)光學頻率梳的光譜編程和控制。拓展了光學頻率梳的應(yīng)用范圍，為其在光通信、精密測量等領(lǐng)域的使用提供了更高的靈活性。

本發(fā)明授權(quán)基于深度強化學習的光譜可編程光學頻率梳生成方法在權(quán)利要求書中公布了：1.一種基于深度強化學習的光譜可編程光學頻率梳生成方法，其特征在于，基于寬帶光學頻率梳的實驗物理結(jié)構(gòu)部署深度強化學習的智能體并構(gòu)建智能體與實驗環(huán)境間的交互模型；構(gòu)建基于深度強化學習Actor-Critic架構(gòu)的策略算法框架，并據(jù)此設(shè)計智能體和實驗環(huán)境間的交互內(nèi)容與規(guī)則；以目標頻譜和實驗頻譜的均方根誤差為參數(shù)構(gòu)造獎勵函數(shù)并設(shè)計智能體與實驗環(huán)境的動作執(zhí)行與獎勵反饋，通過深度強化學習算法的訓練策略得到最優(yōu)相位調(diào)制決策，從而實現(xiàn)光譜可編程地生成光學頻率梳，具體包括： 步驟A，構(gòu)建穩(wěn)定電光光頻梳并調(diào)控頻譜相位，利用非線性效應(yīng)展寬光頻梳頻譜，具體包括： A1、通過單波長激光器、級聯(lián)的一個強度調(diào)制器和兩個相位調(diào)制器產(chǎn)生穩(wěn)定的初始電光頻率梳，其中：單波長激光器輸出波長為1550nm的輸入光，其功率為10dBm，生成的初始光頻梳的中心頻率為193.548THz，重復(fù)率為10GHz； A2、利用可編程光學處理器對初始光頻梳的相位進行調(diào)制：選取初始光頻梳中心頻率附近8nm帶寬內(nèi)，即1546nm至1554nm的相位作為調(diào)制對象，相位調(diào)制曲線用權(quán)重隨機的20階切比雪夫多項式的加權(quán)和來表示，具體為：具有n次冪的切比雪夫多項式函數(shù)，，其中：wk表示切比雪夫多項式Tkx的權(quán)重，W20x表示切比雪夫多項式按權(quán)重相加的結(jié)果； A3、將調(diào)制后的電光頻率梳輸入摻鉺光纖放大器并注入高非線性光纖，利用非線性效應(yīng)進行光頻梳頻譜展寬； A4、利用光譜儀采集展寬光譜信息解析得到光譜初始狀態(tài)和光譜執(zhí)行狀態(tài)； 步驟B，基于實驗得到的寬帶光學頻率梳的物理結(jié)構(gòu)，即步驟A中得到的光譜初始狀態(tài)和光譜執(zhí)行狀態(tài)部署深度強化學習的智能體，建立基于深度強化學習Actor-Critic架構(gòu)的策略算法框架，設(shè)計深度強化學習智能體和實驗環(huán)境模塊的交互內(nèi)容與規(guī)則，具體包括： B1、構(gòu)造基于基于Actor-Critic架構(gòu)的深度強化學習智能體模塊，其中：Actor網(wǎng)絡(luò)生成動作策略，例如輸出相位調(diào)制決策，并根據(jù)Critic網(wǎng)絡(luò)提供的價值函數(shù)Q反饋來更新動作策略，以提高智能體在環(huán)境中的表現(xiàn)；Critic網(wǎng)絡(luò)評估動作策略的優(yōu)劣并根據(jù)智能體采取的動作計算價值函數(shù)Q，以評估當前動作策略的優(yōu)劣，并將Actor網(wǎng)絡(luò)與環(huán)境交互后的狀態(tài)轉(zhuǎn)換過程存儲在經(jīng)驗回放存儲器中； B2、通過網(wǎng)絡(luò)隨機采樣經(jīng)驗回放存儲器對智能體進行訓練，具體包括： ①鑒于目標頻譜和實驗頻譜的均方根誤差RMSE是評估光頻梳控制和塑形效果的關(guān)鍵指標，設(shè)置獎勵函數(shù)Rt=-RMSEStarget，Sexp，其中：目標頻譜Starget，實驗頻譜Sexp，負號為將RMSE轉(zhuǎn)化為最大化問題，使智能體的任務(wù)變?yōu)樽钚』繕祟l譜和實驗頻譜之間的差異； ②設(shè)置智能體的目標為學習最優(yōu)策略函數(shù)πat|st,θ，其中：at為智能體通過Actor網(wǎng)絡(luò)生成的動作，st為實驗環(huán)境的狀態(tài)，θ為Actor網(wǎng)絡(luò)的參數(shù)；Actor網(wǎng)絡(luò)中的策略梯度，其中：Ast,at為Critic網(wǎng)絡(luò)的優(yōu)勢函數(shù)；計算損失函數(shù)，其中：E代表期望值，KL表示KL散度，θold表示舊Actor網(wǎng)絡(luò)參數(shù)，λ是一個超參數(shù)，用于控制策略更新和策略穩(wěn)定性的平衡； ③通過Critic網(wǎng)絡(luò)評估Actor網(wǎng)絡(luò)生成的動作策略的優(yōu)劣：設(shè)置Critic網(wǎng)絡(luò)的價值函數(shù)Qst,at，即在狀態(tài)st采取行動at的預(yù)期收益，使用基于TD誤差的方法進行更新，帶有優(yōu)勢函數(shù)的TD誤差為：，優(yōu)勢函數(shù)，其中：Vst為Critic網(wǎng)絡(luò)的狀態(tài)值函數(shù)，通過采用優(yōu)勢函數(shù)以減小方差并提高算法的收斂速度； B3、在每個時間步驟中，向Actor網(wǎng)絡(luò)的輸出添加一個小的高斯噪聲，以鼓勵智能體探索新的動作策略，并避免過度依賴過去經(jīng)驗；具體而言，對于生成的動作at，添加的高斯噪聲服從均值為零、標準差為σ的高斯分布：，其中：at代表智能體在時間步驟t時生成的原始動作，即相位調(diào)制決策，這是Actor網(wǎng)絡(luò)的輸出；a’t表示經(jīng)過添加高斯噪聲后的動作，這個動作將用于在實際環(huán)境中執(zhí)行；N0,σ表示均值為零、標準差為σ的高斯分布。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人上海交通大學，其通訊地址為：200240 上海市閔行區(qū)東川路800號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。