Storm 和 Spark Streaming两个都是分布式流处理的开源框架。但是这两者之间的区别还是很大的，正如你将要在下文看到的。 处理模型以及延迟 虽然两框架都提供了可扩展性(scalability)和可容错性(fault

2 Spark是一种快速、通用的计算集群系统，Spark提出的最主要抽象概念是弹性分布式数据集(RDD)，它是一个元素集合，划分到集群的各个 节点上，可以被并行操作。用户也可以让Spark保留一个

1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm （以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考

1. Deep dive into Spark Streaming Tathagata Das (TD) Matei Zaharia, Haoyuan Li, Timothy Hunter, Patrick

续而且无止境的数据源。 Spark Streaming Spark Streaming在电子书 《手把手教你学习Spark》 第六章有详细介绍，这里略过Streaming API的详细介绍，直接进行程序开发

jianshu.com/p/1463bc1d81b5 Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流

Spark Streaming编程指南 Overview Spark Streaming属于Spark的核心api，它支持高吞吐量、支持容错的实时流数据处理。 它可以接受来自Kafka, Flume

2015.12.05 update, Spark 1.6 全系列 √ (1.6.0-preview，尚未正式发布) * 2015.11.09 update, Spark 1.5 全系列 √ (1.5.0,

1. Spark streaming 的监控和优化报告人：栾学东 2. What is sparkApache Spark is a fast and general engine for large-scale

文件，并将解析后的数据通过 kafka 生产者进程发送的 kafka 消息集群中，利用 spark streaming 进行实时处理并将处理结果存入 redis 。下面是数据处理过程 原始数据格式：  小区

1. Spark streaming 的监控和优化报告人：栾学东 2. What is sparkApache Spark is a fast and general engine for large-scale

memsql-spark-streaming Pinterest 是一家提供可视化书签工具的公司，这种工具可以帮助人们发现并保存有创意的想法，目前这家公司正使用实时数据分析来达到以数据驱动决策的目的。

pology时Storm如何将spout、bolt自动发布到每个服务器并且控制服务的CPU、磁盘等资源的？ 2、Storm处理消息时会根据Topology生成一棵消息树，Storm如何跟踪每个消息

FusionCloud与vSphere 对比分析 2013-02-22 北京美地森科技有限公司 Copyright © 2006-2013 版权所有 目录 一、概述 2 二、架构对比 2 1、拥有自愈能力的高可用

Mule是一个基于Java的轻量级企业服务总线和集成平台。Mule通过Transports/Connectors与外围的异构系统连接， 提供Routing（路由）、Transaction Management（事务管理）、Transformation（转换）、Message Broker（消息代理）、Transportation Management（传输管理）、Security（安全）等核心模块。Mule可以单独使用，也可以架设在常用的应用服务器上。

Streaming简介  Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。

Apache Spark中，对Block的查询、存储管理，是通过唯一的Block ID来进行区分的。所以，了解Block ID的生成规则，能够帮助我们了解Block查询、存储过程中是如何定位Block

com/jacksu/utils4s/blob/master/spark-knowledge/md/spark_streaming使用kafka保证数据零丢失.md spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件：

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念)，我们可能能简化这些工作。我在这块并没有什么经验，这只是一个存在于脑海中的东西。

Traintracks.io 大数据分析平台Ryan BraleyBig Data Algorithms with Twitter Algebird + Spark Streaming 基于Twitter Algebird