買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山東捷瑞數(shù)字科技股份有限公司申請的專利一種基于工業(yè)互聯(lián)網(wǎng)的設備數(shù)據(jù)存儲Doris方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN120386780B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-09-26發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510873588.X，技術領域涉及：G06F16/215；該發(fā)明授權一種基于工業(yè)互聯(lián)網(wǎng)的設備數(shù)據(jù)存儲Doris方法是由牟文青;時雨;李海鵬;解貞東;盧基設計研發(fā)完成，并于2025-06-27向國家知識產(chǎn)權局提交的專利申請。

本一種基于工業(yè)互聯(lián)網(wǎng)的設備數(shù)據(jù)存儲Doris方法在說明書摘要公布了：本發(fā)明涉及數(shù)據(jù)存儲技術領域，具體公開了一種基于工業(yè)互聯(lián)網(wǎng)的設備數(shù)據(jù)存儲Doris方法，包括以下具體步驟：S1：獲取工業(yè)設備節(jié)點數(shù)據(jù)；S2：對獲取的數(shù)據(jù)進行預處理；S3：將預處理后的數(shù)據(jù)上拋至Kafka；S4：Doris消費Kafka數(shù)據(jù)并存儲；S5：監(jiān)控與性能優(yōu)化；S6：擴展：二次利用與下游分析。本發(fā)明顯著降低了數(shù)據(jù)處理延遲，提升實時性；提升了數(shù)據(jù)質(zhì)量和一致性，減少缺失與異常；自動化分區(qū)與存儲清理降低運維成本，提升可擴展性。

本發(fā)明授權一種基于工業(yè)互聯(lián)網(wǎng)的設備數(shù)據(jù)存儲Doris方法在權利要求書中公布了：1.一種基于工業(yè)互聯(lián)網(wǎng)的設備數(shù)據(jù)存儲Doris方法，其特征在于，包括以下具體步驟： S1：獲取工業(yè)設備節(jié)點數(shù)據(jù)：實時采集現(xiàn)場PLC或網(wǎng)關設備的數(shù)據(jù)，為后續(xù)清洗和存儲做準備； S2：對獲取的數(shù)據(jù)進行預處理：對原始采集的數(shù)據(jù)進行去重、補齊、去噪與標準化，確保后續(xù)入庫的數(shù)據(jù)質(zhì)量和一致性； S3：將預處理后的數(shù)據(jù)上拋至Kafka：通過分布式消息隊列實現(xiàn)數(shù)據(jù)緩沖和解耦，下游可并行消費、擴展性好； S4：Doris消費Kafka數(shù)據(jù)并存儲：讓Doris實時從Kafka拉取JSON數(shù)據(jù)并寫入到關系型表中，同時借助動態(tài)分區(qū)實現(xiàn)數(shù)據(jù)的自動化分區(qū)與過期清理； S41：Doris表結(jié)構與動態(tài)分區(qū)設計：在Doris中建一張寬表，該表采用按日期范圍劃分分區(qū)的方式，并啟用動態(tài)分區(qū)功能；系統(tǒng)會根據(jù)當前日期自動創(chuàng)建從“當前往前3天”到“當前往后1天”共5天的分區(qū)；設置分區(qū)保留時長，當某個分區(qū)創(chuàng)建滿若干天后，系統(tǒng)會自動將該分區(qū)刪除；同時對表進行分桶設計； S42：創(chuàng)建RoutineLoad任務：在Doris上執(zhí)行專門的SQL語句來創(chuàng)建RoutineLoad任務，指定該任務從哪個KafkaTopic拉取數(shù)據(jù)、用什么并發(fā)數(shù)、每批最大拉取多少條或多少字節(jié)，以及如何解析JSON；JSON字段到表字段的映射由一個JSONPaths文件提供；RoutineLoad任務配置中，可指定并發(fā)消費者數(shù)、每個批次最大的行數(shù)或最大字節(jié)數(shù)以及嚴格模式開關； S43：數(shù)據(jù)加載流程與臟數(shù)據(jù)處理：DorisRoutineLoad按照指定并發(fā)數(shù)并行從Kafka分區(qū)中拉取消息，每拉取到符合閾值的消息，就會存到臨時文件中；系統(tǒng)對臨時文件進行解壓與解析，將JSON按照JSONPaths映射抽取出字段并寫入到內(nèi)存表；內(nèi)存表數(shù)據(jù)按分區(qū)策略自動分配到對應分區(qū)，再由后端節(jié)點批量將數(shù)據(jù)持久化到列存儲；對于解析失敗、字段類型不匹配或缺少必需字段的記錄，RoutineLoad會將該條記錄歸入“臟數(shù)據(jù)”隊列，并按照“臟數(shù)據(jù)最大比例”閾值決定是忽略還是告警，若某批次臟數(shù)據(jù)比例超過一定數(shù)值，會觸發(fā)系統(tǒng)告警，人工檢查JSON格式或JSONPaths映射是否有誤； S44：動態(tài)分區(qū)與過期清理：由于開啟了動態(tài)分區(qū)功能，Doris會每日自動判斷當前日期，并創(chuàng)建從“當前往前3天”到“當前往后1天”的5個分區(qū)；當某個分區(qū)創(chuàng)建滿若干天后，系統(tǒng)會自動將該分區(qū)刪除； S5：監(jiān)控與性能優(yōu)化：監(jiān)控從采集到存儲的端到端鏈路，及時發(fā)現(xiàn)瓶頸與異常，并進行針對性優(yōu)化； S51：端到端監(jiān)控指標：包括采集端監(jiān)控、Kafka監(jiān)控和Doris監(jiān)控； S52：性能優(yōu)化策略：包括Kafka優(yōu)化和Doris優(yōu)化； S6：擴展：二次利用與下游分析，在保證數(shù)據(jù)質(zhì)量與實時性的前提下，支持后續(xù)的數(shù)據(jù)倉庫對接、實時計算與機器學習應用； S61：數(shù)據(jù)倉庫對接：在Doris中將寬表構造成事實表，再根據(jù)業(yè)務需要設計維度表，若需進行更復雜的聯(lián)機分析處理，可通過ETL或定時任務，將數(shù)據(jù)同步到下游數(shù)據(jù)倉庫進行離線報表和多維分析；在同一個Doris集群中，也可結(jié)合視圖或分層表結(jié)構，將不同粒度的數(shù)據(jù)及時提供給BI工具； S62：實時計算與告警：在Kafka與Dori之間，或并行于Doris之外，使用ApacheFlink、SparkStreaming的流式處理引擎，將預處理后的數(shù)據(jù)直接消費后進行復雜事件處理，當發(fā)現(xiàn)溫度、壓力等指標超過預設閾值時，立刻觸發(fā)短信或郵件告警；基于CEP模式，可設定多個連續(xù)狀態(tài)或模式識別； S63：機器學習與深度學習應用：對存儲在Doris中的歷史時序數(shù)據(jù)，根據(jù)時間窗口進行特征工程，將數(shù)據(jù)聚合成統(tǒng)計特征，構建模型訓練所需的特征表；使用Python框架訓練時序預測模型，預測短期內(nèi)的設備健康狀態(tài)或故障可能性，訓練時可將過去N天、N個時刻的數(shù)據(jù)作為輸入，輸出未來一段時間的預估值；在模型訓練完成并驗證效果后，將其部署為在線推理服務，定期從Doris中獲取最新時序數(shù)據(jù)，生成預測結(jié)果后與當前閾值做對比，提前預警潛在故障。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或?qū)＠麢嗳?a target="_blank" rel="noopener noreferrer nofollow" href="https://iptop.www.hzsmkbearing.com.cn/list?keyword=%E5%B1%B1%E4%B8%9C%E6%8D%B7%E7%91%9E%E6%95%B0%E5%AD%97%E7%A7%91%E6%8A%80%E8%82%A1%E4%BB%BD%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8&temp=1">山東捷瑞數(shù)字科技股份有限公司，其通訊地址為：264000 山東省煙臺市萊山區(qū)澳柯瑪大街102號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。