買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉安徽青際科技有限公司申請的專利一種基于Kafka和FlinkCDC的大數據更新方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120429304B 。

龍圖騰網通過國家知識產權局官網在2025-09-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510942248.8，技術領域涉及：G06F16/23；該發明授權一種基于Kafka和FlinkCDC的大數據更新方法及系統是由張文元;任夢蝶設計研發完成，并于2025-07-09向國家知識產權局提交的專利申請。

本一種基于Kafka和FlinkCDC的大數據更新方法及系統在說明書摘要公布了：本公開涉及數據庫技術領域，提供了一種基于Kafka和FlinkCDC的大數據更新方法及系統，所述方法包括配置模塊接收數據源環境配置，建立連接通道；FlinkCDC捕獲變更數據，對變更數據進行處理；KafkaTopic接收更新消息，按消息類型寫入相應專用消息隊列；Flink作業管理模塊對消息隊列進行處理；目標數據庫基于處理結果對大數據進行更新。將FlinkCDC捕獲的變更事件按表類型分發至獨立KafkaTopic，實現物理隔離，按消息類型寫入相應專用消息隊列，實現了物理隔離與流量分級管控，可以確保主表數據優先處理。

本發明授權一種基于Kafka和FlinkCDC的大數據更新方法及系統在權利要求書中公布了：1.一種基于Kafka和FlinkCDC的大數據更新方法，其特征在于，包括： 步驟S1：配置模塊接收數據源環境配置，建立連接通道：接收用戶通過配置模板定義的數據信息；對數據信息進行解析和登記，建立對源數據庫的連接通道；其中，數據信息包括：源數據庫類型及連接參數、目標數據庫類型及地址和各數據表的類型定義； 步驟S2：FlinkCDC接收數據源的實時數據變更流，分別通過預先配置的捕獲組件獲取主表和子表的變更；將變更數據進行格式化處理，得到主表更新消息和子表更新消息； 步驟S3：KafkaTopic接收主表更新消息，將其寫入預先建立的主表專用KafkaTopic中進行存儲和傳輸，得到針對主表數據變更的異步消息隊列，其中，主表專用KafkaTopic采用多分區高吞吐策略；并接收子表更新消息，將其寫入預先建立的子表專用KafkaTopic中進行存儲和傳輸，得到針對子表數據變更的異步消息隊列，其中，子表專用KafkaTopic采用緊湊存儲策略； 步驟S4：Flink作業管理模塊對主表數據變更的異步消息隊列和子表數據變更的異步消息隊列進行處理，得到處理結果； 步驟S5：目標數據庫通過建立的連接通道，利用處理結果更新數據庫； 所述目標數據庫是包含多個目標數據庫分片； 在步驟S4之后，步驟S5之前，所述方法還包括：Flink作業管理模塊采用窗口分片算法，按事件時間窗口劃分數據批次，結合主鍵哈希值將高優任務執行結果和低優任務執行結果進行數據分片，其中，數據分片數等于目標數據庫分片數； 所述步驟S5具體包括： 各目標數據庫分片接收高優任務執行結果或低優任務執行結果，以及兩階段提交協調器發出的預提交指令，將數據更新操作寫入自身的事務緩沖區中進行預提交處理，得到預提交執行結果； 兩階段提交協調器接收各目標數據庫分片返回的預提交結果，在確定所有分片的預提交均成功完成時，將全局提交指令發送至所有目標數據庫分片以提交事務。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人安徽青際科技有限公司，其通訊地址為：230001 安徽省合肥市高新區興園社區服務中心科學大道55號綜合樓3樓安徽廣電企服中心A1700號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。