Spark的39个机器学习库 经验

Apache Spark itself 1. MLlib AMPLab Spark originally came out of Berkeley AMPLab and even today AMPLab

jopen 2015-09-30   60167   0

Apache Spark入门攻略 经验

本文聚焦Apache Spark入门,了解其在大数据领域的地位,覆盖Apache Spark的安装及应用程序的建立,并解释一些常见的行为和操作。 【编者按】时至今日,Spark已成为大数据领域最火的

cebp 2015-07-12   61974   0
P17

  如何让SQL在Spark上运行的更快 文档

1. Transwarp Inceptor:如何让SQL在Spark上运行的更快星环信息科技(上海)有限公司 www.transwarp.io从开源迈向商业产品 刘汪根 wayne.liu@transwarp

nn34 2014-12-16   6216   0

K-means算法(Spark Demo) 代码段

java.util.Random import spark.SparkContext import spark.SparkContext._ import spark.examples.Vector._ object

ye34 2015-01-06   10217   2
算法  

Spark 2.0.0 支持 Java 8 Lambda 资讯

Spark是一个微型的Java Web框架,它的灵感来自于Sinatra,它的目的是让你以最小的代价创建出一个Java Web应用。最近更新到2.0.0,支持Java 8 ,支持Lambda,Demo代码看起来非常有吸引力

jopen 2014-10-24   12082   0
Spark  

Spark 1.5将不再支持Java 6 资讯

1.6。 近日, Spark 社区也在讨论是否应该终止支持Java 6,经过这几天的讨论,社区决定从 Spark 1.5开始,不再支持Java 1.6! 1、 Spark 1.4.x(~ Jun

bgn4 2015-05-05   15551   0
Spark  

Apache Spark 1.5.0正式发布 资讯

Spark 1.5.0 是 1.x 系列的第六个版本,包括 230+ 贡献者的努力。值得关注的改进如下: APIs:RDD, DataFrame 和 SQL 后端执行:DataFrame 和 SQL 集成:数据源,Hive

jopen 2015-09-09   22147   0
P31

  内存计算Spark和 SQL on Hadoop 文档

1. 内存计算Spark和 SQL on Hadoop 黄永卿 解决方案中心 2. 目录1内存计算Spark介绍2Spark核心要点3SQL on Hadoop技术比较43+1大数据分析方案介绍 3.

pnx8 2014-08-17   756   0

Spark性能调优之道——解决Spark数据倾斜(Data Skew)的N种姿势 经验

什么是数据倾斜 对Spark/Hadoop这样的大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜。 何谓数据倾斜?数据倾斜指的是,并行处理的数据集中,某一部分(如Spark或Kafka的一个P

thesame 2017-04-12   24706   0

用Apache Spark进行大数据处理——第三部分:Spark 经验

he-spark-streaming 介绍 在“用Apache Spark进行大数据处理”系列的前两篇文章中,我们看到了Apache Spark框架是什么(第一部分)还有如何使用Spark SQL库访问数据的SQL接口(第二部分)。

hgdx4257 2016-03-02   74732   0

用Apache Spark进行大数据处理——第二部分:Spark SQL 经验

在Apache Spark文章系列的 前一篇文章 中,我们学习了什么是Apache Spark框架,以及如何用该框架帮助组织处理大数据处理分析的需求。 Spark SQL,作为Apache Spark大数据

jopen 2015-06-14   77634   0

spark中各种连接操作以及实用方法 代码段

val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0)) val b = sc.parallelize(Array(("123",8.0),("789",10))) val c = a.join(b) c.foreach(println) /* (123,(4.0,8.0)) (789,(9.0,10)) */ val d

jopen 2015-06-04   5924   0
Spark  

开源集群计算环境,Spark 1.1.0 发布 资讯

Spark 1.1.0 发布,该版本带来了一些操作性和性能的提升,主要是体现在核心模块上。同时增加新的库 MLlibSpark SQL。支持 Python ,增加新的组件到 Spark 流模块。其他改进和完整介绍内容请看

jopen 2014-09-12   16979   0
Spark  

Spark 颠覆 MapReduce 保持的排序记录 资讯

在过去几年,Apache Spark的采用以惊人的速度增加着,通常被作为MapReduce后继,可以支撑数千节点规模的集群部署。在内存中数 据处理上,Apache Spark比MapReduce更加高

jopen 2014-10-11   13271   0
Spark   Hadoop  

Spark发布1.3.0版本 资讯

com/cn/news/2015/03/spark-new-version-release 3月13日, Spark 1.3.0版本与我们如约而至 。这是Spark 1.X发布计划中的第四次发布,距离1

jopen 2015-03-16   28176   0
Spark  

Spark新愿景:让深度学习变得更加易于使用 经验

前言 Spark成功的实现了当年的承诺,让数据处理变得更容易,现在,雄心勃勃的Databricks公司展开了一个新的愿景:让深度学习变得更容易。 当然牛好吹,也是要做些实际行动的,所有便有了 spark-deep-learning

dingkai202 2017-09-25   28211   0

运用Spark加速实时数据分析 资讯

he Spark。从能源产业到金融行业,Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。 Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其

jopen 2015-10-29   11656   0
Spark  

如何运用Spark进行实时数据分析 资讯

he Spark。从能源产业到金融行业,Spark凭借其高效性与多功能性已经成为当今大数据处理栈中的关键部分。 Spark是一个比MapReduce更加灵活的开源且通用的计算框架。Spark凭借其

勿忘初心321 2015-12-21   32298   2

Scala-Spark环境搭建配置 经验

开始搭建的jdk这些自不必说,本文只是简单的介绍安装scala/spark 1.下载scala安装包 去官网下载tgz包,解压在/opt/scala/下,设置环境变量: export SCAL

jopen 2014-03-02   102788   0

Spark学习笔记之浅释 经验

概述: Spark是一个基于内存计算的开源集群计算系统,目的是让数据分析更加快速。 Spark非常小巧玲珑,由加州伯克利大学AMP实验室的小团队开发。使用的语言 是Scala,项目的cor

jopen 2015-06-20   13091   0
1 2 3 4 5 6 7 8 9 10