中國農業銀行股份有限公司張堯獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中國農業銀行股份有限公司申請的專利一種數據傾斜優化因子自動調整方法、裝置、設備和介質獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114490160B 。
龍圖騰網通過國家知識產權局官網在2025-09-19發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210113046.9,技術領域涉及:G06F11/07;該發明授權一種數據傾斜優化因子自動調整方法、裝置、設備和介質是由張堯;彭新宇;王燦設計研發完成,并于2022-01-29向國家知識產權局提交的專利申請。
本一種數據傾斜優化因子自動調整方法、裝置、設備和介質在說明書摘要公布了:本發明公開了一種數據傾斜優化因子自動調整方法、裝置、設備和介質。該方法包括:確定單位數據量的處理速度超出預設速度范圍的任務的類型;根據任務的類型對任務進行速度優化;判斷任務在優化后的單位數據量的處理速度是否在預設速度范圍內;如果任務在優化后的單位數據量的處理速度在預設速度范圍內,記錄速度優化的過程參數,并結束調整方法;如果任務在優化后的單位數據量的處理速度在預設速度范圍之外,根據集群服務器的內存數據計算優化因子;根據優化因子與預設優化值的相對關系對集群服務器進行再次優化。本申請方案實現了數據傾斜優化因子的自動調整,降低了開發人員的工作量的同時提高了數據處理的可靠度。
本發明授權一種數據傾斜優化因子自動調整方法、裝置、設備和介質在權利要求書中公布了:1.一種數據傾斜優化因子自動調整方法,其特征在于,包括: 確定單位數據量的處理速度超出預設速度范圍的任務的類型; 根據所述任務的類型對所述任務進行速度優化,具體包括,如果所述任務為JOIN操作,根據所述任務中的數據集的大小和導致數據傾斜的主鍵數量進行第一速度優化操作,其中,所述第一速度優化操作包括下述至少一個:任務替換優化、擴容優化、擴容范圍擴展優化、第一隨機前綴優化和第一前綴范圍擴展優化;如果所述任務為聚合操作,根據所述任務的歷史優化情況進行第二速度優化操作,其中,所述第二速度優化操作包括下述至少一種:第二隨機前綴優化和第二前綴范圍擴展優化; 判斷所述任務在優化后的單位數據量的處理速度是否在所述預設速度范圍內; 如果所述任務在優化后的單位數據量的處理速度在所述預設速度范圍內,記錄所述速度優化的過程參數,并結束調整方法; 如果所述任務在優化后的單位數據量的處理速度在所述預設速度范圍之外,根據集群服務器的內存數據計算優化因子,其中,所述集群服務器用于實施MapReduce模型的Reduce階段; 根據所述優化因子與預設優化值的相對關系對所述集群服務器進行再次優化。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國農業銀行股份有限公司,其通訊地址為:100005 北京市東城區建國門內大街69號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。