Spring for Apache Hadoop 2.1 正式发布 资讯

Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于

ef4w 2015-02-09   18440   0
Spring  

Hortonworks 收购 SequenceIQ ,实现快速部署Hadoop集群 资讯

周一在官方网站宣布已收购SequenceIQ ,并称,此次收购增强了在公有云和私有云上自动化部署企业Hadoop的能力。此次交易预计在今年第二个季度结束,收购具体金额并未透露。 Hortonworks表示,计划把SequenceIQ整合至

jopen 2015-04-13   10864   0
Hadoop  

LinkedIn开源高可用Hadoop工具集Gradle 资讯

http://www.infoq.com/cn/news/2015/08/LinkedIn-Gradle-Hadoop 许多大科技公司都是开源事业的参与者和引领者,比如Google、Netflix、Faceb

jopen 2015-08-28   23985   0
Gradle  

梁堰波:主流SQL on Hadoop框架选择 资讯

在昨日(7月23日)的CSDN Spark微信群中,明略数据梁堰波就主流的SQL on Hadoop框架进行了深入分析,在给出了选择建议后并与用户进行了40分钟的互动与交流。 在 “YARN还是Mesos讨论之后(圆桌讨论:

mf7x 2015-07-24   26619   0
Hadoop  

Hadoop集群搭建(-v1.2.1) 经验

Hadoop集群搭建(-v1.2.1) @[hadoop] 1. 官网下载安装包(版本: 1.2.1) 2. 安装依赖 Java 和 ssh 3. 解压安装包,添加HADOOP_HOME变量到

jopen 2014-09-25   10407   0

Hadoop、Spark、HBase与Redis的适用性讨论(全文) 经验

最近在网上又看到有关于 Hadoop 适用性的讨论 [1] 。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在

jopen 2014-08-08   34361   0

Hadoop2.2.0分布式安装 经验

体可参加相应教程) 1、下载 hadoop-2.2.0.tar.gz ,解压tar -xzvf  hadoop-2.2.0.tar.gz 2、进入hadoop目录下创建tmp目录和dfs/data目录、dfs/name目录

jopen 2014-09-10   10791   0

基于Hadoop的BSP计算框架:Apache Hama 经验

Apache Hama是一个建立在Hadoop上基于BSP(Bulk Synchronous Parallel)的计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。集群环境中的系统架构由

jopen 2014-05-21   22248   0

Hadoop标准化安装工具 Cloudera 经验

to the Enterprise with Hadoop Cloudera为了让Hadoop的配置标准化,可以帮助企业安装,配置,运行hadoop以达到大规模企业数据的处理和分析。 既然是给

openkk 2012-06-09   19564   0

Hadoop完全分布式搭建 经验

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google

jopen 2013-12-05   56465   0

Hadoop2.2.0安装配置手册 经验

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要

jopen 2013-12-06   20113   0

hadoop mapreduce核心功能描述 经验

这种转换的中间格式记录集不需要与输入记录集的类型一致。一个给定的输入键值对可以映射成0个或多个输出键值对。 Hadoop Map/Reduce框架为每一个 InputSplit 产生一个map任务,而每个 InputSplit

openkk 2012-05-18   36030   0

在Ubuntu上安装集群模式的Hadoop 经验

在安装好单机模式的hadoop之后,我们就可以着手来在集群模式下安装hadoop了。在安装了单机版hadoop的机器上将hadoop转成集群模式是很容易的。首先来设置网络。 网络 首先,我们需要在同一个网络的几台机器(这里用的是192

jopen 2013-06-15   14501   0

Hadoop 的分布式架构改进与应用 经验

Hadoop的分布式架构改进与应用 Baofeng Zhang@zju 1.  背景介绍 谈到分布式系统,就不得不提到Google的三驾马车:GFS [1] ,MapReduce [2]

jopen 2012-05-31   96547   0

hadoop2.2稳定版本新特性 经验

http://dongxicheng.org/mapreduce-nextgen/hadoop-2-2-0/ Hadoop 2.0的第一个稳定版本2.2.0于2013年10月15如发布了,这个版本是 继1

jopen 2014-10-29   20673   0

Hive 0.14 + hadoop 2.4.1 环境下的 jdbc连接 经验

本文记录在Hive 0.14 + hadoop 2.4.1 环境下,如何时用 jdbc连接到hive hive 的JDBC驱动还是比较好找的,在hive的包里就有 hive-jdbc-0.14.0-standalone

jopen 2015-01-13   29196   0

Hadoop配置文件参数说明 经验

1 获取默认配置 配置 hadoop ,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,默认下来,这些配置文件都是空的,所以很难知

jopen 2014-10-29   23537   0

Hive:基于hadoop的数据仓库工具 经验

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件 映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快

jopen 2014-11-25   24320   0

Hadoop 数据管理平台:Apache Falcon 经验

Apache Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关

jopen 2015-01-19   24215   0

Hadoop时代的大数据架构 经验

到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我 把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL

b77m 2015-04-22   140189   0
1 2 3 4 5 6 7 8 9 10