专访王峰：Hadoop生态下一代计算引擎-streaming和batch的统一

王峰：分三个方向，一是调度，以YARN为主，这是一个比较核心的能力，往在线高可用方向发展。Hadoop以前是离线，以后应该走向online。以前离线调度作业，失败就失败了，而走向online调度就很有挑战。现在YARN也在努力，比如说没有单点，但离Borg还有差距。

二是存储，HBase ,HDFS是老牌的，新的存储出现了，druid,pinot这种新的列存储，真正的colume加上index的这种列存储，尤其是做数据分析的列存储技术都是相对新的，不再是老的那些概念了。也有一些新的方向，tachyon这种分布式内存的，支持Spark的分布式内存存储系统，这都是一些新的思路，而且以后会有很好的业务场景的，因为这都是需求逼出来的系统，有很大的应用场景。

最火的还是计算，MapReduce基本就更新掉，但不会马上离开，它的稳定性、吞吐量还是最好的，因为它积累了太多年，在一定场景内可以存在。但我觉得就是落后产业了。 新的像实时计算，Storm，不过Storm本身不是很先进的系统，可以说是上时代的产物了，推ter的heron以及阿里的jstrom还在发展Storm体系，但我觉得这也不是体量大的系统。最大的还是Spark，Spark是现在最辉煌的系统。我们还关注Flink这个系统，这是一个新的计算引擎。从理论来看，它比Spark更没有边界，更先进。Spark很火，但是它毕竟是一个（batch）系统，做离线的，批处理的是它的先天优势，可能做一些内存迭代、机器学习或者替代MapReduce做算子层更丰富的批处理。但它本质是一个batch，它最大的问题就是Spark stream,转换成一个离散的流，可以认为是把batch切小，每个batch可以认为是无限小，比如网络上一秒的数据形成一个RDD的batch，再来一个，再提一个，不停地提job。但是这个是batch，就相当于你再切，他还是一个batch，这是一个理论问题，不是你技术牛不牛的问题，就相当于给你一个木棍子，你切切切，你再切，切再薄的片，它还是有厚度的。但Flink是反的，它认为stream是一切，batch是special case，batch只是一个有明确start和end的stream，它是德国那个论文发的，Flink的模型在我们看来是更先进的，它自己号称是第四代，它是说MapReduce第一代，Storm第二代，Spark第三代，它第四代。 Flink还没发展起来，没大厂验证，但它基因更好，它拿流可以模拟batch，这是完全没有约束的，就像我可以拿原子组成物体。而这是不可逆的，就像你不能把一个东西碎成原子，你只是一直切切切，但是原子可以组成任何东西。从这里来说，Flink是unlimited，它没有明显的技术限制。现实的例子是，我们想把数据做到毫秒级更新超大规模场景，Spark是做不到的，根据他现在的理论架构无论如何做不到，RDD是如何也做不到的。一个batch，你怎么弄也做不到一毫秒提一个job，这是不可能的。batch粒度有点粗，你要想做到，你要做无限优化，还不敢保证成功。而Flink若做无限优化，就可以stream转batch，所有你有的东西我都有。这其实是很恐怖的，特别在一个互联网领域，一个小东西如果基因足够好，有足够的成长空间，它可以长到无限大。而再大的东西遇到瓶颈的话，也会遇到危险。反正现在能看到的就是，Spark能稳定的往前走，Flink就看能不能冲起来。

王峰：我们团队是使用社区的版本，做一些自己的改进，并且会把改进提交到社区。因为我觉得很私有地维护一个版本是有问题的，因为社区发展很快，你私有一个版本，短期你觉得占便宜了，把很多新的东西弄进来，自己加了一些东西社区都没有。但一两年以后呢？这是长跑，你可以冲刺一下，但不能年年这样。你的团队会有变化，人员会有更改，会有业务上的紧张，资源进度上的变化。长期跑赢社区几乎是不可能的。我们选择的就是专门几个人跟这个方向，如果我们觉得这是一个好的抽象好的feature，我们就会提交给社区。我们也在培养自己的committer。我们不私有化这个东西，但肯定有一些非常定制的，这是不可避免的。比如社区就是不认这个东西，但我们业务的确有这个需求。我们会有一个阿里内部的发行版，用作集群部署的版本管理。这个版本会结合Cloudera、社区版的（patch），把有些东西拿过来，和我们自己的（patch)合进来，但是和社区是兼容的，比如社区升级，我们也会升过来，有些（patch）已经被合进社区版本了，没合进去的我们再合一次。但不会保留太多私有版本。