買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉廣西大學申請的專利一種學習用戶畫像與深度強化學習的熱水系統控制方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116772426B 。

龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310752083.9，技術領域涉及：F24H15/156；該發明授權一種學習用戶畫像與深度強化學習的熱水系統控制方法是由殷林飛;熊軼設計研發完成，并于2023-06-25向國家知識產權局提交的專利申請。

本一種學習用戶畫像與深度強化學習的熱水系統控制方法在說明書摘要公布了：本發明提出一種學習用戶畫像與深度強化學習的熱水系統控制方法，該學習用戶畫像與深度強化學習方法的主要步驟包括收集大量用戶的歷史多源異構數據、利用多通道卷積對多源異構數據進行特征融合與提取、采用K?Means方法對融合提取后的特征數據生成用戶的熱水使用畫像和使用在線式的深度強化學習方法與用戶進行實時交互，來不斷改進策略模型。所提學習用戶畫像與深度強化學習方法能解決熱水系統中數據驅動方法無法快速投入使用的問題，實現用戶個性化的熱水控制，優化能源利用效率，提高用戶的舒適度，具有很好的可擴展性和適應性，并且整體框架解釋性比較優異。

本發明授權一種學習用戶畫像與深度強化學習的熱水系統控制方法在權利要求書中公布了：1.一種學習用戶畫像與深度強化學習的熱水系統控制方法，其特征在于，將多源異構數據特征融合提取、用戶畫像、無監督學習和深度強化學習進行結合，用于熱水加熱裝置的控制；實現用戶個性化的熱水控制，優化能源利用效率，提高用戶的舒適度；在使用過程中的步驟為： 步驟1：收集ND位用戶的歷史多源異構數據；其中，第i位用戶的歷史多源異構數據包括：過去30天中每小時的天氣數據其中，為第1天第1小時的天氣數據；為第1天第2小時的天氣數據；為第1天第24小時的天氣數據；為第2天第1小時的天氣數據；為第2天第2小時的天氣數據；為第2天第24小時的天氣數據；為第30天第1小時的天氣數據；為第30天第2小時的天氣數據；為第30天第24小時的天氣數據；過去30天中每小時的溫度數據其中，為第1天第1小時的溫度數據；為第1天第2小時的溫度數據；為第1天第24小時的溫度數據；為第2天第1小時的溫度數據；為第2天第2小時的溫度數據；為第2天第24小時的溫度數據；為第30天第1小時的溫度數據；為第30天第2小時的溫度數據；為第30天第24小時的溫度數據；過去30天中每小時熱水器開關狀態數據其中，為第1天第1小時的熱水器開關狀態數據；為第1天第2小時的熱水器開關狀態數據；為第1天第24小時的熱水器開關狀態數據；為第2天第1小時的熱水器開關狀態數據；為第2天第2小時的熱水器開關狀態數據；為第2天第24小時的熱水器開關狀態數據；為第30天第1小時的熱水器開關狀態數據；為第30天第2小時的熱水器開關狀態數據；為第30天第24小時的熱水器開關狀態數據；過去30天中每小時的熱水使用量數據其中，為第1天第1小時的熱水使用量數據；為第1天第2小時的熱水使用量數據；為第1天第24小時的熱水使用量數據；為第2天第1小時的熱水使用量數據；為第2天第2小時的熱水使用量數據；為第2天第24小時的熱水使用量數據；為第30天第1小時的熱水使用量數據；為第30天第2小時的熱水使用量數據；為第30天第24小時的熱水使用量數據；過去30天中每小時的日期數據其中，為第1天第1小時的日期數據；為第1天第2小時的日期數據；為第1天第24小時的日期數據；為第2天第1小時的日期數據；為第2天第2小時的日期數據；為第2天第24小時的日期數據；為第30天第1小時的日期數據；為第30天第2小時的日期數據；為第30天第24小時的日期數據；過去30天中每小時的星期數據其中，為第1天第1小時的星期數據；為第1天第2小時的星期數據；為第1天第24小時的星期數據；為第2天第1小時的星期數據；為第2天第2小時的星期數據；為第2天第24小時的星期數據；為第30天第1小時的星期數據；為第30天第2小時的星期數據；為第30天第24小時的星期數據；過去30天中每小時的小時數據其中，i為第1天第1小時的小時數據；為第1天第2小時的小時數據；為第1天第24小時的小時數據；為第2天第1小時的小時數據；為第2天第2小時的小時數據；為第2天第24小時的小時數據；為第30天第1小時的小時數據；為第30天第2小時的小時數據；為第30天第24小時的小時數據； 步驟2：將每位用戶的歷史多源異構信息數據進行拼接獲得3維張量多源異構融合樣本T1表示第1位用戶的3維張量多源異構融合樣本；T2表示第2位用戶的3維張量多源異構融合樣本；表示第ND位用戶的3維張量多源異構融合樣本； 步驟3：對每位用戶的3維張量多源異構融合樣本進行提取特征，得到每位用戶的多源異構特征展平樣本；對第i位用戶的3維張量多源異構矩陣樣本Ti進行多通道卷積運算；卷積核張量MC的形狀為30,3,27；多通道卷積運算的輸出為多源異構特征樣本其中， 均為第i位用戶多通道卷積運算得到的多源異構特征樣本中的元素；Z1表示第1位用戶的多源異構特征樣本；Z2表示第2位用戶的多源異構特征樣本；表示第ND位用戶的多源異構特征樣本；多通道卷積的運算過程如下： Zi＝Ti⊙MC1 式中，Ti為第i位用戶的3維張量多源異構融合樣本；⊙為多通道卷積運算；Zi為第i位用戶的多源異構特征樣本； 然后，將多源異構特征樣本進行展平運算，改變元素的排列方式，得到第i位用戶的多源異構特征展平樣本多源異構特征展平樣本為616×1的矩陣； Pi＝FlattenZi2 式中，Flatten·為展平函數；Pi為第i位用戶的多源異構特征展平樣本； 步驟4：將ND位用戶的多源異構特征展開樣本輸入到K-Means方法中；K-Means方法的輸出為不同種類的熱水使用畫像：C1,C2,...Ck；其中，C1為第1種熱水使用畫像；C2為第2種熱水使用畫像；Ck為第k種熱水使用畫像；k是K-Means方法輸出的熱水使用畫像的種類個數；除K-Means方法輸出的k種熱水使用畫像以外，定義第k+1種熱水使用畫像為未知畫像； K-Means聚類方法的運行過程為： 4.1隨機初始化k個聚類標簽，分別為：C1,C2,...Ck； 4.2計算每個多源異構特征展開樣本與所有聚類標簽的歐氏距離： dPi,Cj＝sqrtPi-Cj23 式中，Pi為第i位用戶的多源異構特征展開樣本；Cj為第j個聚類標簽；dPi,Cj為第i位用戶的多源異構特征展開樣本與第j個聚類標簽的歐氏距離；sqrt·為平方根函數； 4.3將每個多源異構特征展開樣本分配給歐式距離最小的聚類標簽； 4.4更新聚類標簽；對于每個聚類標簽，計算屬于該聚類標簽的多源異構特征展開樣本的均值，作為新的聚類標簽； 式中，Cj表示更新后的聚類標簽；Nj為屬于聚類標簽Cj的多源異構特征展開樣本的個數；Pm表示屬于聚類質心Cj的第m個多源異構特征展開樣本； 4.5重復步驟4.2-4.4，直到滿足最大迭代次數為止； 4.6輸出聚類結果；K-Means方法輸出k種聚類標簽；分別為C1,C2,...Ck，每一種聚類標簽為一種熱水使用畫像；C1為第1種熱水使用畫像；C2為第2種熱水使用畫像；Ck為第k種熱水使用畫像； 將ND名用戶的多源異構特征展平樣本與k種熱水使用畫像C1,C2,...Ck組成初始數據庫；步驟5：將熱水器投入新用戶使用，并收集新用戶的實時多源異構數據；新用戶的實時多源異構數據包括：每小時的天氣數據每小時的溫度數據每小時的熱水器開關狀態數據每小時的熱水使用量每小時的日期數據每小時的星期數據每小時的小時數據其中，d為熱水器投入的天數，t為當天的小時數； 熱水器由智能體和熱水加熱裝置組成；智能體中含有初始數據庫、熱水畫像神經網絡判別器和近端策略優化方法； 在熱水器投入新用戶使用之前，采用離線訓練的方式對近端策略優化方法訓練，使近端策略優化方法能夠控制熱水器的開關狀態；近端策略優化方法的輸入矩陣為其中，ek∈{1,2,...,k,k+1}，表示新用戶的熱水使用行為屬于何種熱水使用畫像；ek＝1表示新用戶的熱水使用行為屬于第1種熱水使用畫像；ek＝2表示新用戶的熱水使用行為屬于第2種熱水使用畫像；ek＝k表示新用戶的熱水使用行為屬于第k種熱水使用畫像；ek＝k+1表示新用戶的熱水使用行為屬于未知畫像；近端策略優化方法的輸出為熱水器的開關狀態； 步驟6：將新用戶的實時多源異構數據進行拼接獲得新用戶的2維張量多源異構融合樣本將R輸入到熱水畫像神經網絡判別器中；熱水畫像神經網絡判別器的輸出為R屬于第1類到第k類熱水使用畫像的概率值，分別為 熱水畫像神經網絡判別器的輸入層為卷積層；熱水畫像神經網絡判別器的隱藏層由寬度為Whw，深度為Whd全連接層組成；其隱藏層中的全連接層的激活函數為tanh函數；熱水畫像神經網絡判別器的輸出層為寬度為k，深度為Wod全連接層組成；其輸出層中的全連接層的激活函數為softmax函數；采用動量隨機梯度下降優化器來訓練熱水畫像神經網絡判別器； 步驟7：判斷新用戶的2維張量多源異構融合樣本R是否屬于初始數據庫中的熱水使用畫像； 當均小于0.9時，熱水畫像神經網絡判別器拒絕識別；則新用戶的熱水使用行為不屬于初始數據庫中的熱水使用，而是屬于第k+1類熱水使用畫像，即未知畫像；此時，ek＝k+1； 當大于0.9時，則判定新用戶的熱水使用行為屬于初始數據庫中的第i類熱水使用畫像；此時，ek＝i； 步驟8：對近端策略優化方法進行在線訓練，同時輸出熱水加熱裝置的控制動作；近端策略優化方法的在線訓練的過程為： 8.1將新用戶的熱水使用畫像ek和實時多源異構數據輸入到近端策略優化方法中； 8.2根據當前動作函數πA|S；θ和評價函數VS；φ生成NP條軌跡序列；其中，θ為動作函數的網絡結構參數，即動作函數的網絡權重和偏置；φ為評價函數的網絡結構參數，即評價函數的網絡權重和偏置；A為近端策略優化方法輸出的動作，動作共有兩種，一種是打開熱水器的開關，一種是關閉熱水器的開關；S為輸入到近端策略優化方法的狀態，狀態包括新用戶的熱水使用畫像和實時多源異構數據； 此外，RPPO為當近端策略優化方法對加熱裝置做出動作后得到的獎勵； 如果有熱水需求，獎勵RPPO為： RPPO＝-areward×Php-breward×max40-Ttank,0-creward×maxHtime-24,05 如果沒有熱水需求，獎勵RPPO為： RPPO＝-areward×Php-creward×maxHtime-24,06 式中，areward為獎勵中能量項系數；breward為獎勵中舒適項系數；creward為獎勵中衛生項系數；Php為加熱裝置消耗的能量；max·,·為求最大值函數；Ttank為熱水箱的溫度；Htime為上一次熱水箱的溫度達到60℃以上的時間長短； 每條軌跡序列為： 式中：ts代表某一時刻，即當前軌跡序列的起始時間；為ts時刻的狀態；為ts+1時刻的狀態；為ts+NP-1時刻的狀態；為ts+NP時刻的狀態；是在狀態下的一個動作；是在狀態下的一個動作；是從狀態轉變到的獎勵；是從狀態轉變到的獎勵； 當處于狀態時，利用πA|S；θ計算出每個動作的概率，并且根據概率分布隨機選擇動作在訓練的開始，ts＝1，對于后續的NP條軌跡序列，ts←ts+NP； 8.3對于t＝ts+1,ts+2,...,ts+NP這N條軌跡序列，計算每條軌跡序列的折扣回報Gt與優勢函數Dt；折扣回報Gt為： 式中，γ為折扣系數；RPPO,k是從狀態Sk轉變到Sk+1的獎勵值；bG為計算Gt時的系數；如果是最終狀態，則bG為0，否則，則bG為1； 優勢函數Dt為： 式中，λ為平滑因子；bD為計算Dt時的系數，如果是最終狀態，則bD為0，否則bD為1； 8.4從這NP條軌跡序列中進行學習： 8.4.1從當前的一條軌跡序列中隨機抽取一個大小為MB的數據集，該數據集中的每個元素都包含相應的折扣回報和優勢函數值； 8.4.2通過梯度下降法來最小化評價損失函數Lcriticφ用于更新評價函數的參數φ，評價損失函數Lcriticφ為： 式中：Gi表示數據集中第i個元素中相應的折扣回報； 8.4.3將優勢函數值歸一化，數據集中第i個元素中相應的歸一化的折扣優勢函數值為： 式中，i為數據集中每個元素的下標數，表示數據集中第i個元素中相應的歸一化的折扣優勢函數值；Di數據集中第i個元素相應的優勢函數值；D1數據集中第1個元素相應的優勢函數值；D2數據集中第2個元素相應的優勢函數值；DM數據集中第MB個元素相應的優勢函數值；mean·,·,...,·為求平均值函數；std·,·,...,·為計算標準偏差的函數； 8.4.4通過梯度下降法來最小化動作損失函數Lactorθ用于更新動作函數的參數θ，動作損失函數Lactorθ為： 其中riθ系數因子和熵損失函數分別為： 式中，min·,·求最小值函數；πAi|Si；θ為在狀態Si下，給定參數θ時，采取行動Ai的概率；πAi|Si；θold為在狀態Si下，給定當前學習時期之前的參數θold，采取行動Ai的概率；riθ系數因子；ε為剪切因子；是熵損失函數；Pz為近端策略優化方法中動作的種類個數；πAk|Si；θ為在狀態Si下，給定參數θ時，采取行動Ak的概率；w是熵損失系數； 8.5近端策略優化方法根據8.1中的輸入數據，使用更新后的動作函數來輸出控制熱水加熱裝置的動作； 8.6重復8.1-8.5，持續更新近端策略優化方法,并輸出控制熱水加熱裝置的動作。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人廣西大學，其通訊地址為：530004 廣西壯族自治區南寧市西鄉塘區大學東路100號廣西大學；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。