天津津能電力科學研究有限公司張洪濤獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網獲悉天津津能電力科學研究有限公司申請的專利一種用于數據中臺的數據處理資源動態(tài)分配方法獲國家發(fā)明授權專利權,本發(fā)明授權專利權由國家知識產權局授予,授權公告號為:CN120371544B 。
龍圖騰網通過國家知識產權局官網在2025-09-26發(fā)布的發(fā)明授權授權公告中獲悉:該發(fā)明授權的專利申請?zhí)?專利號為:202510872884.8,技術領域涉及:G06F9/50;該發(fā)明授權一種用于數據中臺的數據處理資源動態(tài)分配方法是由張洪濤;劉永紅;徐欣航設計研發(fā)完成,并于2025-06-27向國家知識產權局提交的專利申請。
本一種用于數據中臺的數據處理資源動態(tài)分配方法在說明書摘要公布了:本發(fā)明公開了一種用于數據中臺的數據處理資源動態(tài)分配方法,涉及發(fā)電企業(yè)數據處理技術領域;本發(fā)明通過Kafka系統(tǒng)處理數據中臺的實時數據并生成實時數據處理結果;通過Hadoop系統(tǒng)處理數據中臺的離線數據并生成離線數據處理結果;對未來單位時間內實時數據處理結果和離線數據處理結果的數據量進行預測,并輸出實時數據量預測值與離線數據量預測值;采用動態(tài)權重資源分配算法對實時數據量預測值與離線數據量預測值進行計算資源量的分配;這種方式能夠更精準地匹配未來單位時間內的資源需求,避免資源的過度分配或不足,大大提高了資源的利用率。
本發(fā)明授權一種用于數據中臺的數據處理資源動態(tài)分配方法在權利要求書中公布了:1.一種用于數據中臺的數據處理資源動態(tài)分配方法,其特征在于,包括: 步驟S1:通過Kafka系統(tǒng)處理數據中臺的實時數據并生成實時數據處理結果; 步驟S2:通過Hadoop系統(tǒng)處理數據中臺的離線數據并生成離線數據處理結果; 步驟S3:對未來單位時間內實時數據處理結果和離線數據處理結果的數據量進行預測,并輸出實時數據量預測值與離線數據量預測值; 步驟S4:采用動態(tài)權重資源分配算法對實時數據量預測值與離線數據量預測值進行計算資源量的分配; 將實時數據處理結果和離線數據處理結果通過時序圖、自相關圖及統(tǒng)計量檢驗法判斷實時數據處理結果和離線數據處理結果的平穩(wěn)性; 若平穩(wěn),則實時數據處理結果或離線數據處理結果采用ARIMA模型用于生成未來單位時間內對應的實時數據量預測值和離線數據處理模塊中離線數據量預測值; 若非平穩(wěn),則將實時數據處理結果或離線數據處理結果進行差分處理,然后采用ARIMA模型進行擬合,ARIMA模型用于生成未來單位時間內對應的實時數據量預測值和離線數據處理模塊中離線數據量預測值; 設定實時數據量預測值或離線數據量預測值對應的數據復雜度、系統(tǒng)當前負載和響應速度要求為資源分配的影響因子,通過計算得到資源權重;根據資源權重進行計算資源量的分配; 設f1為實時數據量預測值或離線數據量預測值;獲取f1的數據類型,標記為{圖像;視頻;文本;數值;BP神經網絡;LSTM神經網絡;MSET結構;office類文件;其他文件};并獲取數據類型對應的數值; 設f2為數據復雜度,用于記錄每時刻的數據調用及資源占用情況; 設f3為系統(tǒng)當前負載; 設f4為響應速度要求,f4為預設的響應時間閾值; 對f1、f2、f3和f4進行歸一化處理,得到和; 其中,f1的歸一化處理過程包括: 設置f1的數據類型對應的權重,標記為數據類型權重,根據數據類型權重對f1對應數據類型的數值進行加權和獲取; 計算資源權重RW: RW計算公式為:; 其中,α、β、γ和δ分別為和對應的權重; f2的取值范圍為[0,1],f2計算公式為:; 其中,Cty為數據類型多樣性指數,,dt為f1中數據類型的總數量,tdt為預設的最大數據類型總數量; Cst為數據結構復雜度指數,,nl為f1中各個數據類型的數據結構的總嵌套層數,fc為f1中各個數據類型的總數據字段數量,mnl為預設的最大嵌套層數量,mfc為預設的最大字段數量; Cre為f1的自相關關聯度,取值范圍為[0,1]; Cvo為數據波動性指數,,為f1中的數值的標準差,為f1中的數值的平均值; 和分別為Cty、Cst、Cre和Cvo的權重,。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人天津津能電力科學研究有限公司,其通訊地址為:300000 天津市和平區(qū)南營門街南京路235號河川大廈A座寫字樓11D-1489號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。