本溪鋼鐵(集團)信息自動化有限責任公司李福達獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉本溪鋼鐵(集團)信息自動化有限責任公司申請的專利一種基于datax的報告類數據同步方法和裝置獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN120336433B 。
龍圖騰網通過國家知識產權局官網在2025-09-12發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510820449.0,技術領域涉及:G06F16/27;該發明授權一種基于datax的報告類數據同步方法和裝置是由李福達;姜偉;郭鍵;艾啟東;秦斌;騰立坤;姜君龍設計研發完成,并于2025-06-19向國家知識產權局提交的專利申請。
本一種基于datax的報告類數據同步方法和裝置在說明書摘要公布了:本發明提供一種基于datax的報告類數據同步方法和裝置,通過在Reader插件中,基于待獲取數據的數據結構初始化分頁控制參數,從而通過HTTP請求方式循環發送數據獲取請求,從源端循環獲取分頁大小的分頁數據響應直至達到終止條件,并對分頁數據響應中嵌套結構的數據字段進行解析,生成各個數據字段對應的中間結構化數據對象,進而對嵌套結構的數據字段對應的中間結構化數據對象和非嵌套結構的數據字段進行數據預處理,形成預處理數據對象,再基于Reader插件將預處理數據對象傳遞至Writer插件,并基于Writer插件按批量策略緩存預處理數據對象并提交至目標數據系統,提升了針對多源異構數據的同步準確性和可擴展性。
本發明授權一種基于datax的報告類數據同步方法和裝置在權利要求書中公布了:1.一種基于datax的報告類數據同步方法,其特征在于,包括: 在datax的Reader插件中,基于待獲取數據的數據結構初始化分頁控制參數;所述分頁控制參數包括初始頁碼與分頁大小,并構造針對所述待獲取數據的數據獲取請求的URL地址;所述待獲取數據包括非結構化的報告類數據; 基于Reader插件,通過HTTP請求方式循環發送所述數據獲取請求,從源端循環獲取所述分頁大小的分頁數據響應直至達到預設終止條件,并對所述分頁數據響應中嵌套結構的數據字段進行解析,生成各個數據字段對應的中間結構化數據對象;所述源端包括多種不同類型的數據源;其中,構建所述嵌套結構的數據字段的完整字段路徑樹;針對嵌套結構的任一數據字段,基于所述任一數據字段的完整字段路徑樹中每個節點的字段名和字段類型以及各個節點之間的順序,確定所述任一數據字段對應的中間數據結構;基于所述任一數據字段對應的中間數據結構,生成所述任一數據字段對應的中間結構化數據對象;所述中間數據結構是與所述任一數據字段匹配的標準嵌套數據結構,所述中間結構化數據對象保留了所述任一數據字段的層級與類型信息; 基于Reader插件對嵌套結構的數據字段對應的中間結構化數據對象和非嵌套結構的數據字段進行數據預處理,形成預處理數據對象; 基于Reader插件將所述預處理數據對象傳遞至datax的Writer插件,并基于Writer插件按批量策略緩存所述預處理數據對象并提交至目標數據系統。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人本溪鋼鐵(集團)信息自動化有限責任公司,其通訊地址為:117021 遼寧省本溪市平山區廣裕路130號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。