Spark SQL 初探: 使用大数据分析2000万数据 经验

目录 [−] 安装和配置Spark Spark初试 使用Spark SQL分析数据 去年网上曾放出个2000W的开房记录的数据库, 不知真假。 最近在学习Spark, 所以特意从网上找来数据测试一下,

jopen 2014-12-11   177140   0

Spark on Mesos: 粗粒度与细粒度实现分析 经验

背景 顺着昨天 spark standalone实现 那篇文章继续扯淡,看看Mesos Scheduler的两种实现的异同。 对我来说,回过头再仔细看Spark在这一层的实现,思路又清晰了许多。

jopen 2015-02-13   20915   0

开源分布式计算系统,Spark 1.2 发布 资讯

Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据

jopen 2014-12-19   23822   1
Spark  

Apache Spark 1.3 发布,基于内存计算的开源的集群计算系统 资讯

Apache Spark 1.3 发布,1.3 版本引入了期待已久的 DataFrame API,这是 Spark 的 RDD 抽象设计来简单快速支持大数据集的变革。同时在流转换 ML 和 SQL 的大量提升。

f663x 2015-03-13   27556   0

Java开源即时聊天客户端,Spark IM 2.7.2 发布 资讯

Spark是一个开源,跨平台IM客户端。它的特性支持集组聊天,电话集成和强大安全性能。如果企业内部部署IM使用Openfire+Spark是最佳的组合。 Spark IM 2.7.2 发布,此版本现已提供

jopen 2015-08-31   16887   0

通过可视化来了解你的Spark应用程序 资讯

net/article/2015-07-08/2825162 【编者按】在" Spark 1.4:SparkR发布,钨丝计划锋芒初露 "一文中,我们有简单地介绍了1.4版本给Spark注入的新特性,在各个组件的介绍中也提到了新UI给

jopen 2015-07-08   13638   0
Spark  

解析Spark大数据分析框架的核心部件 资讯

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件

勿忘初心321 2015-12-23   18139   1

谷歌推出Dataproc,让Spark、Hadoop更便宜更快更简单 资讯

oud-Dataproc-Spark 近日,谷歌 发布 了Google Cloud Dataproc服务Beta测试版。Cloud Dataproc是一个托管的Spark与Hadoop服务,可以帮

jopen 2015-10-08   8859   0
Hadoop   Spark  
P15

  基于Spark/hbase的数据分析平台及SparkSQl使用经验分享 文档

1. 基于Spark/hbase的数据分析平台及 SparkSQl使用经验分享黄涧石@PayPal (@huangjianshi) 2014/12/13 Beijing Spark Meetup 2.

cdop 2014-12-29   732   0

微软游戏开发软件 Project Spark 测试版本发布 资讯

微软今天发布了测试版 Project Spark ,Project Spark是一款游戏开发软件,允许开发者、爱好者以及游戏玩家在一款游戏内打造另外一款游戏,这一软件可以应用于Windows 8.1,Xbox

jopen 2013-12-03   4680   0
游戏  

类似pip一样的跟踪Spark上面开发应用和扩展库的网站 资讯

随着Spark生态系统的发展,越来越多的公司和组织在Spark上面开发应用和扩展库。随着这些库的增长,用户一直希望有一个类似pip一样的跟踪这些库的网站。今天我们给大家带来一个圣诞礼物: spark-packages

jopen 2014-12-22   6582   0
Spark  

大疆的小魔法Spark无人机,除了装进口袋,还让你「意念」操控 资讯

拿着手机的女朋友?不,大疆说,你可以有它。 大疆昨天在纽约开了一场半个小时的小发布会,发布了一款「晓」无人机 Spark,没错他中文名就叫「晓」,大疆希望你用它来记录这些「稍纵即逝」的画面。 但既然要和手机比

jopen 2017-05-24   17749   0
大疆  

三个大数据处理框架:Storm,Spark和Samza 介绍比较 经验

变数 组,对应着固定的键值对。 Apache Spark Spark Streaming 是 核心Spark API的一个扩展,它并不会像Storm那样一次一个地处理数据流,而

jopen 2015-03-11   50791   0

呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性? 经验

isolation以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBase和Spark时,很容易产生冲突。(https://issues.apache.org/jira/browse/HADOOP-11656)

zfb1226 2016-06-02   26655   0

Apache Spark 2.0前瞻:为机器学习模型注入持久性 经验

0版本中,通过基于DataFrame的API,Spark机器学习库MLlib将实现几乎完整的ML持久性支持。本文将提前透露有关代码示例,以及MLlib API持久性的一些细节。 ML持久性的关键特性包括: Spark支持所有语言的

e鸿619 2016-06-02   22626   0

星星之火渐呈燎原之势:Spark 2.0预览版重磅来袭 经验

com快译】目前Databricks订阅用户已经能够获取Spark 2.0的技术预览版。性能提升、SparkSessions以及数据流处理能力将成为新版本的主要发展方向。 Apache Spark 2.0即将正式与广大用户

zpzdmy 2016-05-30   14134   0

用Apache Spark进行大数据处理——第一部分:入门介绍 经验

什么是Spark Apache Spark 是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。

jopen 2015-04-02   62295   0

Facebook官方详解:使用Apache Spark进行大型语言模型训练 经验

Apache Spark 是用于大规模数据处理的快速和通用引擎,它运行在 Hadoop,Mesos,可以离线或云端运行,具有高速、可扩展等特点。近年来,在 IBM 等大公司和众多社区贡献者的推动下,Spark

v9z1n9e0vl 2017-02-12   13014   0

助人就是助己:IBM宣布大规模资助开源大数据项目Spark 资讯

com/p/533859.html 本周一,IBM 宣布 将对开源实时大数据分析项目Apache Spark进行大规模资助,蓝色巨人宣称,其资助的力度之大相当于每年数亿美元的投入。 Hadoop技术出

jopen 2015-06-15   18185   0
Spark  

2016年大数据领域预测:Spark淘汰MapReduce,拯救Hadoop 资讯

将成为企业数据基础设施的一个重要集成点,为构建智能分布式系统提供便利。Kafka 及其他流分析系统(比如 Spark 和 Storm)会补充数据库,成为跨应用程序和数据中心管理数据的整个企业堆栈的关键部分。”

jopen 2016-01-05   26776   0
1 2 3 4 5 6 7 8 9 10