毕业论文课题相关文献综述

MapReduce 是被广泛使用的在大规模的计算机集群下并行计算的开发模型。

Apache 的 hadoop和 Google 的 MapReduce都是这种架构在成千上万的机器的集群中的实现。

MapReduce 的应用广泛，例如网络搜索和大数据处理。

MapReduce框架的基本原理是每个工作都经过几个相互独立的阶段处理，每个阶段都包含许多并行运行的任务。

其中相互独立的阶段一般分为：map阶段，shuffle阶段和reduce阶段。

其中map阶段和reduce阶段数据处理的主要工作，shuffle阶段主要是传输中间数据。

现在许多的MapReduce 的优化研究都将重点放在数据处理阶段，也就是上面提到的map和reduce阶段。

相关的算法包括：经典的先来先服务算法（FIFO）， Yahoo 公司提出的考虑Capacity的调度算法， Facebook提出的考虑公平性Fair算法。

由于上述的三个算法的一个基本假定是：系统中处理器节点是同质的。

后来又有学者针对处理节点的能力不同，提出了最长时间估计算法（LATE 算法），自适应的 MapReduce 调度算法（SAMR 算法）。