買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉南華大學申請的專利一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114168334B 。

龍圖騰網通過國家知識產權局官網在2025-08-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111497024.9，技術領域涉及：G06F9/50；該發明授權一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質是由付仲明;何夢思;羅凌云;丁平尖;朱濤;萬亞平設計研發完成，并于2021-12-09向國家知識產權局提交的專利申請。

本一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質在說明書摘要公布了：本申請公開了一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質，包括：確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價；按照所述第一通信代價的大小順序對全部所述第一空閑節點進行排序，并依次在排序后的所述第一空閑節點上分配所述第一空閑節點的最大可用Executor數量個第一Executor；當分配的所述第一Executor總數量為第一所需Executor數量時，停止分配所述第一Executor得到所述Map階段執行所述Map任務的包含當前已分配的所述第一Executor的第一Executor集合。可見，本申請將Executor分配在靠近輸入數據塊所在的節點上，能夠改善Spark任務調度中的數據本地性，有效降低任務的網絡流量和數據訪問延遲。

本發明授權一種基于Spark框架的Executor分配方法、裝置、設備及存儲介質在權利要求書中公布了：1.一種基于Spark框架的Executor分配方法，其特征在于，包括： 確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價； 按照所述第一通信代價的大小順序對全部所述第一空閑節點進行排序，并依次在排序后的所述第一空閑節點上分配所述第一空閑節點的最大可用Executor數量個第一Executor； 當分配的所述第一Executor總數量為第一所需Executor數量時，停止分配所述第一Executor得到所述Map階段執行所述Map任務的包含當前已分配的所述第一Executor的第一Executor集合； 所述確定Map階段全部Map任務分別在Spark框架中每個第一空閑節點獲取相應數據塊的通信代價，以得到每個所述第一空閑節點對應的第一通信代價，包括：確定所述Map階段每個所述Map任務分別在Spark框架中每個所述第一空閑節點獲取相應數據塊的第二通信代價；將每個所述第一空閑節點上的所述第二通信代價進行求和運算以得到每個所述第一空閑節點對應的所述第一通信代價，包括： 其中，m1是Map任務的數量，n1是空閑節點的數量，di,j是數據塊bj和節點Ni之間的網絡距離，ci,j表示當分配任務tj到節點Ni時獲取數據塊bj的通信代價，|bj|是數據塊的大小； 所述第一空閑節點的最大可用Executor數量個第一Executor的計算過程包括： 在Map階段，每個Map任務負責處理一個數據塊并輸出中間數據到本地磁盤；Spark分布式計算集群的網絡拓撲形式化為節點集合NS＝{N0,N1,…,Nα-1}和機架集合RS＝{R0,R1,…,Rβ-1}，1≤β≤α，對于任意節點Nl，Nl位于機架Rr，r∈{0,1,…,β-1}；在Map階段分配Executor的初始狀態時，將一些特定的數據結構形式化如下： NSmap為包含n_1個允許啟動Executor的空閑節點，是NS的一個子集合；其元素Ni表示第i個空閑節點，它的剩余CPU和內存容量分別表示為free_cpui和free_memoryi；每個節點上允許啟動的Executor數量計算為： 其中，是節點Ni上允許啟動的Executor的數量，cpu_conf和memory_conf是每個Executor配置的CPU數量和內存容量。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南華大學，其通訊地址為：421001 湖南省衡陽市蒸湘區常勝西路28號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。