含 Apache Spark 的 Lambda 架构 经验

,它被设计出来既可以利用批量处理方法,也可以使用流式处理方法。这样我们就可以利用Apache Spark(核心, SQL, 流),Apache Parquet,Twitter Stream等工具处理实

wwang1969 2016-11-10   10257   0

Spark学习-RDD编程基础 经验

1. RDD基础概念 Spark上开发的应用程序都是由一个driver programe构成,这个所谓的驱动程序在Spark集群通过跑main函数来执行各种并行操作。集群上的所有节点进行并行计算需要共同访问一个分区元素的集合,这就是

风云决 2017-03-09   13473   0

Spark 1.6今天发布 资讯

今天,我们很开心的宣布发布Apache Spark 1.6!这也是开源社区开发的一个里程碑,2015年贡献spark的代码是1000行,是2014一整年的两倍,见下图。 接下来揭开Spark 1.6新发布的功能。

jopen 2016-01-05   26489   0
Spark  
P24

  Openfire+Spark安装手册 文档

 Openfire+Spark安装手册 王保政 QQ:29803446 Msn:baozhengw999@hotmail.com 关键字:快速开发平台 openjweb 增删改查 即时通信 2009-8-29

asasasas 2010-12-26   788   0

Spark访问Cassandra的接口:Calliope 经验

Calliope 是 Cassandra 和 Spark 框架之间建立一座桥梁,可以让你轻松创建神奇实时的大数据应用。为 Spark 提供了访问 Cassandra 数据的接口库。 项目主页:

jopen 2014-03-24   20833   0

Spark处理Json格式数据(Python) 经验

http://www.cnblogs.com/yurunmiao/p/4682315.html 前言 Spark能够自动推断出Json数据集的“数据模式”(Schema),并将它加载为一个SchemaRDD实

jopen 2015-07-29   40602   0

Astro - 华为开源 HBase 的 Spark SQL 经验

(OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package 项目又名 Astro,端到端整合了 SparkSpark SQL和HB

jopen 2015-10-16   28825   0

Spark 访问 Hive 执行 SQL 经验

http://my.oschina.net/Rayn/blog/606856 最近在使用 Spark 结合 Hive  来执行查询操作。。跑了一个demo 出现如下错误: 01-20 14:49:41

worthluv 2016-01-20   31639   0

Spark性能优化指南——高级篇 经验

前言 继 基础篇 讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。

Poppy3869 2016-05-12   39154   0

Hadoop和Spark框架的异同 经验

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 1 解决问题的层面不一样

oxzr6054 2016-09-02   14060   0

Apache Spark 的持续增长 资讯

这周,快速发展的Apache Spark社区在纽约聚集,为了庆祝成为当今最受欢迎的开源项目之一。 2009年,Spark项目在UC伯克利的AMPLab启动,在过去的一年半里,Apache Spark迅速流行起来。

jopen 2015-04-15   19475   0

Apache Spark 1.5新特性介绍 资讯

http://www.lupaworld.com/article-254557-1.html Apache Spark社区刚刚发布了 1.5 版本,大家一定想知道这个版本的主要变化,这篇文章告诉你答案。 DataF

jopen 2015-09-10   23843   0

Spark 1.4 新特性概述 资讯

经过4个RC版本,Spark 1.4最终还是赶在Spark Summit前发布了,本文简单谈下本版本中那些非常重要的新feature和improvement. SparkR就不细说了,于data

gf67 2015-06-12   22439   0
Spark  

Spark生态顶级项目汇总 资讯

现在 Apache Spark 已形成一个丰富的生态系统,包括官方的和第三方开发的组件或工具。后面主要给出 5 个使用广泛的第三方项目。 Spark 官方构建了一个非常紧凑的生态系统组件,提供各种处理能力。

jopen 2016-03-07   7128   0
Spark  

Spark和Hadoop,孰优孰劣? 资讯

http://www.infoq.com/cn/news/2015/12/Spark-Hadoop-HDFS Spark 已经取代 Hadoop 成为最活跃的开源大数据项目。但是,在选择大数据框

jopen 2015-11-30   16341   0
Spark  
P19

  Spark streaming 的监控和优化 文档

1. Spark streaming 的监控和优化报告人:栾学东 2. What is sparkApache Spark is a fast and general engine for large-scale

nn34 2014-12-16   789   0
P18

  (2)Spark 基础知识 文档

1. Spark基础知识—by 球哥 2. 大数据学习网介绍我们的网址是:bigdatastudy.cn 我们提供专业的大数据学习视频,包括Hadoop,Spark,Storm,Mahout,机器学习等。

ngn6 2015-08-12   631   0
P12

  Spark 核心技术剖析 文档

1. Spark 传奇 华为开源软件中心 程广卫 2. 大数据技术发展历程 3. Hadoop:大道至简 4. Hadoop:八仙过海Twister(Indiana 大学) Haloop(Washington大学)

xcn4 2014-11-29   472   0
P24

  Openfire+Spark安装手册 文档

 Openfire+Spark安装手册 王保政 QQ:29803446 Msn:baozhengw999@hotmail.com 关键字:快速开发平台 openjweb 增删改查 即时通信 2009-8-29

wubin 2012-03-16   355   0

Spark本地安装和简单示例 经验

maven-release-plugin.noarch sudo yum install scala.noarch Spark 是基于内存的大数据分析平台,由 UC Berkely AMP lab 发布的一大神器。相比 Hadoop

by57 2015-01-29   108693   0
1 2 3 4 5 6 7 8 9 10