| 基于單元集群的MapReduce中節點失效的改進 | |
| 所屬分類：技術論文 | |
| 上傳者：aet | |
| 文檔大小：480 K | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：針對傳統MapReduce框架中任務節點和工作節點的失效問題，提出了在配置備份節點的分層主從式MapReduce框架中加入單元集群的處理方法。在改進框架中，任務處理的最小單位是單元集群，當單元集群中的某個工作節點失效或者超過時間闕值時，子任務節點則選擇該單元集群中的空閑工作節點來分配任務，并且不需要重新傳輸任務文件分塊，這既節省了工作節點重選擇的時間，又降低了網絡傳輸的壓力。使用該框架針對不同數量的數據塊進行實驗，工作節點的災難恢復時間均可以節省25 ms左右，證明了單元集群的處理方法可以有效解決工作節點的失效問題。 | |
| 現在下載 | |
| VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統工程研究所版權所有 京ICP備10017138號-2