3月31日是 Spark 五周年纪念日，从第一个公开发布的版本开始，Spark走过了不平凡的5年：从刚开始的默默无闻，到13年的鹊起，14年的大爆发。Spark核心之上有分布式的机器学习，SQL...

RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组 的区别是，RDD中的数据是分区存储的，这样不同分区的数...

Storm和Spark Streaming两个都是分布式流处理的开源框架。但是这两者之间的区别还是很大的，正如你将要在下文看到的。

Spark是一个微型的Java Web框架，它的灵感来自于Sinatra，它的目的是让你以最小的代价创建出一个Java Web应用。

Spark on Yarn分yarn-cluster和yarn-client两种模式。 本文通过Cluster模式的TaskScheduler实现入手，梳理一遍spark on yarn的大致实现逻辑。

顺着昨天spark standalone实现那篇文章继续扯淡，看看Mesos Scheduler的两种实现的异同。 对我来说，回过头再仔细看Spark在这一层的实现，思路又清晰了许多。

本文不打算从源码分析的角度看standalone如何实现，甚至有的模块和类在分析中都是忽略掉的。 本文目的是透过spark的standalone模式，看类似spark这种执行模式的系统，...

Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着 Spark在大数据计算领域的暂露头角，越来越多的企业开始...

Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着Spark在大数据计算领域的暂露头角，越来越多的企业开始关注和...

Spark是基于内存的大数据分析平台，由UC Berkely AMP lab发布的一大神器。相比Hadoop而言，其最大的优势是基于内存，这样可以极大提高其速度和通用性。

本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。

本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。

Spark 基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark 部署在大量廉价硬件之上，形成集群。

最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的...

Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD的设计思路，及其在内存上的容错。内容基于论文

Databricks Spark 知识库

hadoop和spark集群的搭建，主要用到了hadoop2.5.2、spark1.2.0、scala2.11.4

对于大多数的大数据而言，实时性是其所应具备的重要属性，信息的到达和获取应满足实时性的要求，而信息的价值需在其到达那刻展现才能利益最大化，例如电商网站，网站推荐系统期望能实时根据顾客的点击行为分析...

视频类网站大数据生态 Spark在爱奇艺的应用实践

Spark可以在三个地方配置系统: Spark属性控制大部分的应用参数。 这些属性可以通过SparkConf对象, 或者Java系统属性. 环境变量可以为每台机器配置，比如IP地址， 通...