北方云景科技(北京)有限公司路楊獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉北方云景科技(北京)有限公司申請的專利一種數據存儲分配方案獲取方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119861867B 。
龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411833809.2,技術領域涉及:G06F3/06;該發明授權一種數據存儲分配方案獲取方法是由路楊;宋兆君;蔣金榮;陳孟軒;彭志宗;辛騰龍;吳波;何君偉;簡步超;杭龍設計研發完成,并于2024-12-12向國家知識產權局提交的專利申請。
本一種數據存儲分配方案獲取方法在說明書摘要公布了:本發明涉及一種數據存儲分配方案獲取方法,屬于數據存儲空間分配技術領域,解決了現有技術中分區算法會導致數據傾斜的問題。獲取待處理數據集,并確定處理該待處理數據集的集群;計算分區數量;基于第一分區算法計算所述待處理數據集中的每一條數據所對應的初始目標分區,并計算每個初始目標分區的數據量;判斷各個初始目標分區的數據量是否超過所述預設分區大小,對于超過預設分區大小的初始目標分區,依次執行數據初次分配操作,使得各個初始目標分區的數據量均小于所述預設分區大小;計算當前分配方案下的平衡系數,若平衡系數滿足預設閾值范圍區間,則依據當前分配方案將所述待處理數據集中每一條數據分配至對應的初始目標分區;若不滿足,則執行再次分配操作。實現了一種數據資源均勻分配,數據查詢效率高,資源使用均衡的數據存儲分配方法。
本發明授權一種數據存儲分配方案獲取方法在權利要求書中公布了:1.一種數據存儲分配方案獲取方法,其特征在于,包括: S1:獲取待處理數據集,并確定處理該待處理數據集的集群; S2:基于所述集群的計算能力、所述待處理數據集的數據量大小以及預設分區大小計算分區數量; S3:基于第一分區算法計算所述待處理數據集中的每一條數據所對應的初始目標分區,并計算每個初始目標分區的數據量; S4:判斷各個初始目標分區的數據量是否超過所述預設分區大小,對于超過預設分區大小的初始目標分區,依次執行數據初次分配操作,使得各個初始目標分區的數據量均小于所述預設分區大小; S5:計算當前分配方案下的平衡系數,若平衡系數滿足預設閾值范圍區間,則依據當前分配方案將所述待處理數據集中每一條數據分配至對應的初始目標分區;若不滿足,則執行再次分配操作; 步驟S1還包括:對所述待處理數據集進行預處理,將每一條數據轉換為鍵值key-value對的形式; 所述執行再次分配操作,包括: S621:將當前分配方案下的最大數據量所對應的初始目標分區作為高數據分區,將最小數據量所對應的初始目標分區作為低數據分區; S622:計算所述高數據分區中每個值value的出現頻率或者大小分布,并按照從大到小進行排序得到第三順序變量; S623:計算所述高數據分區與所述低數據分區數據量的差值,依據第三順序變量的順序將所述高數據分區中出現頻率較高或者大小分布較大的數據轉存至所述低數據分區,直至轉存的數據量達到所述差值的一半; S624:計算平衡系數,若平衡系數滿足預設閾值范圍區間,則將每一條數據存儲至到對應的初始目標分區;若不滿足,返回S621。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人北方云景科技(北京)有限公司,其通訊地址為:100000 北京市西城區百萬莊大街16號1號樓7層1745室;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。