Spark之后，谁将接手大数据

随着智能终端数量的极速增加，大数据已经成为当今社会的主题词。其高容量、高速度和多类型的特征也反映着时代的发展特点。为了能够挖掘大数据背后的潜在价值，Apache基金会提出了 Hadoop平台 。该平台的MapReduce框架一步步发展，已经成为大数据处理的核心技术。然而，MapReduce刚刚“称霸”大数据不久， Spark 就迅速崛起。其超高的性能和易用性很快吸引了业界的注意，并使得很多公司开始放弃MapReduce。 据预测 ，Spark将会在五年以后全面替代MapReduce。由此可见，大数据领域日新月异，技术更迭十分迅速。那么，在Spark之后，什么技术会接手之后的大数据处理呢？接下来，本文就对该问题进行一定的探讨。

作为Apache基金会所开发的分布式处理平台，Hadoop最核心的设计包括HDFS分布式文件系统和分布式计算框架MapReduce。 MapReduce一步步完善，终于成为大数据处理中的核心技术。Hadoop也以其低成本、高扩展性、靠可靠性以及靠容错性等优点，成为主流的大数据处理平台。然而，2009年由伯克利大学提出的Spark项目，异军突起。在不到7年之间内，Spark经历了从研究性项目，到Apache基金项目，进而顶级项目的过程。Cloudera社区的领军人物 Justin Kestelyn甚至预测 ，Spark将会在五年后彻底替代MapReduce。而十年之后，MapReduce将会成为业界的回忆。

Kestelyn提到 ，Spark崛起有着其必然的原因——它存在三个方面的核心优势。

• 首先，Spark为Scala、Java和Python语言提供了丰富而统一的API接口，使其代码量比MapReduce可减少50%-80%。
• 其次，Spark为批处理和流处理也提供了统一的API。
• 最重要的方面是，Spark的性能要大大优于MapReduce。其访问内存数据的速度是MapReduce的100倍，而访问磁盘的速度也是MapReduce的10倍。由此可见，Spark替代MapReduce已成为必然趋势。

那么，在日新月异的大数据领域，Spark又能主导分布式计算多久呢？之后，又是那种技术替代Spark呢？MongoDB的副总裁 Kelly Stirman曾表示 ，大数据领域的上一次飞跃源于对昂贵的计算和存储的优化，而其下一次变革肯定与相关目前昂贵的工程人员相关。未来，更易上手的技术将会竞争力越强，更易吸引广大用户的注意。Databricks的联合创始人 Ion Stoica表示 ，Spark的成功就与其易用性密切相关。Adobe公司移动应用方面的副总裁 Matt Asay也认为 ，易用性必然会成为未来大数据领域竞争的热点。那么，能够在未来主导大数据处理的技术也必然是在易用性方面做的最好的一个。