中電信數智科技有限公司時盈晨獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中電信數智科技有限公司申請的專利基于flink的實時數據采集處理與轉儲系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116010454B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202211523669.X,技術領域涉及:G06F16/2455;該發明授權基于flink的實時數據采集處理與轉儲系統是由時盈晨;許磊設計研發完成,并于2022-11-30向國家知識產權局提交的專利申請。
本基于flink的實時數據采集處理與轉儲系統在說明書摘要公布了:基于flink的實時數據采集處理與轉儲系統,包括:數據采集模塊,獲取指標數據,并將指標數據儲存到Zabbix數據庫中;數據緩存模塊,構建定時任務,再將Zabbix數據庫中的指標數據通過定時任務結合業務數據庫信息進行更新或者補充,存入redis緩存;和數據轉儲模塊,flink讀取緩存后的指標數據,將緩存后的指標數據按照指標分流處理轉儲到業務數據庫中,通過數據采集模塊的Zabbix數據庫、數據緩存模塊的redis緩存、數據轉儲模塊的flink服務器和數據轉儲模塊的kafka中間件組成了一個完整的實時數據采集與轉儲系統,通過數據轉儲模塊的分流過程和設置水位線觸發輸出,在數據信息持續增大時實時提高整個實時數據采集與轉儲系統的并行度,從而緩解數據壓力,避免數據壓力過大時會導致監控系統無法正常工作,進而提高系統穩定性。
本發明授權基于flink的實時數據采集處理與轉儲系統在權利要求書中公布了:1.基于flink的實時數據采集處理與轉儲系統,其特征在于,包括:數據采集模塊,獲取指標數據,并將指標數據儲存到Zabbix數據庫中; 數據緩存模塊,構建定時任務,再將Zabbix數據庫中的指標數據通過定時任務結合業務數據庫信息進行更新或者補充,存入redis緩存;和 數據轉儲模塊,讀取緩存后的指標數據,將緩存后的指標數據按照指標分流處理轉儲到業務數據庫中; 所述定時任務具體是周期性地同步Zabbix數據庫中的指標數據,并獲取本地業務數據庫中的信息,將數據庫中的指標數據與本地業務數據庫中的信息結合得到完整的指標數據,再將完整的指標數據儲存到redis緩存中; 所述數據轉儲模塊包括flink服務器和kafka中間件,所述flink服務器讀取kafka中間件的推送數據和redis緩存中完整的指標數據,并將kafka的推送數據與redis緩存中完整的指標數據進行融合,所述kafka中間件用于輔助flink服務器消費處理redis緩存中完整的指標數據; 所述分流處理的具體過程為: 通過flink服務器定時讀取redis緩存中完整的指標數據,并將定時redis緩存中完整的指標數據與已讀取kafka數據庫的信息進行融合,再將融合后的完整的指標數據根據指標類型進行分流,并通過設置水位線觸發輸出,接著在融合后的完整的指標數據中添加隨機key,通過隨機key對融合后的完整的指標數據進行第二次分流,再通過trigger配置時間窗口,通過時間窗口觸發水位線觸發輸出,將融合后的完整的指標數據匯聚為list列表分類存入業務數據庫; 所述水位線觸發輸出具體是獲取A、B、X和Y,并設置S,若系統的當前時間同時大于A-B+X+S和Y+S,強制觸發數據進行第三次分流,將第三次分流后的融合后的完整的指標數據匯聚為list列表,其中A表示時間戳內的最早到達的事件時間、B表示時間戳內的最晚到達的事件時間、X表示時間戳內的最早到達的數據的系統時間、Y表示時間戳內的最晚到達的數據的系統時間、S表示一個延遲時間。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中電信數智科技有限公司,其通訊地址為:100036 北京市海淀區復興路33號13層東塔13層1308室;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。