属于商业运营产品，而 ELK 属于开源产品。本文着重讨论 ELK 方案，并详细阐述 ELK 如何应用到 Spark 集群中。事实上，ELK 官方已称之为 Elastic,考虑行业内对此系统已经熟识，故而继续延用

What is Spark? Spark是一个快速和通用的引擎用于处理大规模的数据量。 快速：运行在内存中比HadoopMapReduce快100倍，运行在硬盘上比HadoopMapReduce快10倍。

本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。 先从Executor和SchedulerBackend说起。Executor是真正执行任务的进程，本身拥有若

Spark中最核心的概念为 RDD（Resilient Distributed DataSets） 中文为： 弹性分布式数据集 ，RDD为对分布式内存对象的 抽象它表示一个 被分区不可变 且能 并行操作

1. Spark简介—by 球哥 2. 大数据学习网介绍我们的网址是：bigdatastudy.cn 我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。

1. Deep dive into Spark Streaming Tathagata Das (TD) Matei Zaharia, Haoyuan Li, Timothy Hunter, Patrick

1. Openfire+Spark 2. Openfire服务器的介绍 Openfire是用Java语言编写的，是基于XMPP协议、开源的实时协作的服务器，具有跨平台的能力。 它是实现XMPP协议的S

Spark开发指南 简介 总的来说，每一个Spark应用程序，都是由一个驱动程序组成，它运行用户的main函数，并且在一个集群上执行各种各样的并行操作。Spark提供的主要的抽象（概念）是一个弹性

文主要讨论 Apache Spark 的设计与实现，重点关注其设计思想、运行原理、实现架构及性能调优，附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“源码分析

下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。 Data Serialization，默认使用的是Java Serialization，这个程

http://www.cnblogs.com/francisYoung/p/5205420.html 要想明白spark application调度机制，需要回答一下几个问题： 1.谁来调度？ 2.为谁调度？

来自： http://www.solinx.co/archives/570 Spark执行不少操作时都依赖于 闭包函数 的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中

在YARN 上运行 Spark 在Spark0.6.0 版本开始支持 YARN 模式，随后的版本在逐渐地完善。 在YARN 上启动 Spark 确保HADOOP_CONF_DIR或YARN_C

链接： http://spark.apache.org/docs/latest/programming-guide.html 安装好Spark 后，自带了一些demo, 路径在Spark根目录/exam

Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。

个人理解 首先， MapReduce-like 是说架构上和多数分布式计算框架类似， Spark 有分配任务的主节点（ Driver ）和执行计算的工作节点（ Worker ）

Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部

Spark SQL 编程指南 简介 Spark SQL支持在Spark中执行SQL，或者HiveQL的关系查询表达式。它的核心组件是一个新增的RDD类型JavaSchemaRDD。JavaSche

Spark 基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark 部署在大量廉价硬件之上，形成集群。 认识 Spark Apache Spark

1、Spark介绍 Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着Spark在大数据计算领域的暂露头角，越来越