Apache Spark 的R语言前端:SparkR 经验

从R语言中使用Apache Spark。SparkR通过 RDD 类暴露Spark API,允许用户以交互方式在集群上从 R shell 运行jobs 。 Spark是一个开源的集群计算系统,用于

jopen 2014-01-21   54232   0

Spark性能优化指南——基础篇 经验

前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算

TorWortman 2016-05-02   105937   0

kafka+spark streaming+redis学习 经验

xml 文件,并将解析后的数据通过 kafka 生产者进程发送的 kafka 消息集群中,利用 spark streaming 进行实时处理并将处理结果存入 redis 。下面是数据处理过程 原始数据格式:  小区

jopen 2016-01-19   27430   0

Apache Spark 内存管理详解 经验

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出

CherieJewel 2017-04-01   28713   0

Spark1.2新特性概述 资讯

Spark 1.2.0于美国时间2014年12月18日发布, Spark 1.2.0兼容Spark 1.0.0和1.1.0。下面是 Spark1.2 新特性概述: 1.2 居然真的在12月份发

jopen 2014-12-19   8121   0
Spark  

Spark之后,谁将接手大数据 资讯

原文 http://www.infoq.com/cn/news/2015/08/Apache-Spark 随着智能终端数量的极速增加,大数据已经成为当今社会的主题词。其高容量、高速度和多类型的特征

jopen 2015-08-31   12885   0
Spark  
P24

  Openfire+Spark安装手册 文档

 Openfire+Spark安装手册 王保政 QQ:29803446 Msn:baozhengw999@hotmail.com 关键字:快速开发平台 openjweb 增删改查 即时通信 2009-8-29

xiguadong 2012-07-12   539   0
P35

  Spark 在闪存中的优化 文档

1. 2014 Spark Summit ChinaOptimizing Spark for Flash Memory to Broaden Use Cases and Reduce TCODr. John

aacall 2014-06-25   517   0
P19

  Spark streaming 的监控和优化 文档

1. Spark streaming 的监控和优化报告人:栾学东 2. What is sparkApache Spark is a fast and general engine for large-scale

jszhaogy 2016-01-28   387   0

Spark 1.6.0 新手快速入门 经验

本文简单介绍了Spark的使用方式。首先介绍Spark的交互界面的API使用,然后介绍如何使用Java、Scala以及Python编写Spark应用。详细的介绍请阅读 Spark Programming

k9988xhil 2016-03-01   22493   0

IBM如何拥抱Spark 资讯

Spark 是目前相当火热的开源计算框架,相对于 Hadoop ,Spark优势是高性能和易用性。Spark的高性能源于其采用内存储存数据,应用可以以内存的速度进行运算;Spark的易用性在于通用的A

jopen 2015-08-01   23892   0
Spark  

7种常见的hadoop和spark项目 资讯

金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的 大数据 技术相关的事情,但它不需要很长的时间

jopen 2016-02-04   10075   0
Hadoop   Spark  

大数据盘点之Spark 资讯

据存储和处理,对 Hadoop、HBase 以及 Spark 等等均有深入的了解。 Spark 最新的特性以及功能 2015 年中 Spark 版本从 1.2.1 升级到当前最新的 1.5.2,1

jopen 2016-01-07   42951   0

Spark2: 对RDD进行编程系列 经验

Spark2: 对RDD进行编程系列

jopen 2014-09-19   30627   0

Storm和Spark Streaming框架对比 经验

Storm 和 Spark Streaming两个都是分布式流处理的开源框架。但是这两者之间的区别还是很大的,正如你将要在下文看到的。 处理模型以及延迟 虽然两框架都提供了可扩展性(scalability)和可容错性(fault

6x7d 2015-03-11   48652   0

Spark的39个机器学习库 经验

Apache Spark itself 1. MLlib AMPLab Spark originally came out of Berkeley AMPLab and even today AMPLab

jopen 2015-09-30   60167   0

Apache Spark入门攻略 经验

本文聚焦Apache Spark入门,了解其在大数据领域的地位,覆盖Apache Spark的安装及应用程序的建立,并解释一些常见的行为和操作。 【编者按】时至今日,Spark已成为大数据领域最火的

cebp 2015-07-12   61974   0
P17

  如何让SQL在Spark上运行的更快 文档

1. Transwarp Inceptor:如何让SQL在Spark上运行的更快星环信息科技(上海)有限公司 www.transwarp.io从开源迈向商业产品 刘汪根 wayne.liu@transwarp

nn34 2014-12-16   6216   0

Spark MLlib实现的广告点击预测–Gradient 经验

http://my.oschina.net/u/2605101/blog/608842 本文尝试使用Spark提供的机器学习算法 Gradient-Boosted Trees来预测一个用户是否会点击广告。

ThaPullen 2016-01-25   27738   0

K-means算法(Spark Demo) 代码段

java.util.Random import spark.SparkContext import spark.SparkContext._ import spark.examples.Vector._ object

ye34 2015-01-06   10217   2
算法  
1 2 3 4 5 6 7 8 9 10