Hadoop集群数据处理API:Cascading 经验

Cascading 是一个架构在 Hadoop 上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。 Cascading目前依赖于

jopen 2011-12-22   28341   0

Hadoop数据传输工具:Sqoop 经验

Sqoop(SQL-to-Hadoop) 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统

jopen 2014-12-02   18913   0

Hadoop 中利用 mapreduce 读写 mysql 数据 经验

有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv、uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些是 hbase 或者 hive

jopen 2013-07-29   35351   0

Hadoop数据传输工具sqoop 经验

是Apache顶级项目,主要用来在Hadoop和关系数据库中传递数据。通过sqoop,我们可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出到关系数据库。 sqoop架构: s

jopen 2013-12-28   25466   0

hadoop集群数据节点gmond安装 经验

1)、修改cluster中name值为集群名称“hadoop” 此处值和gmetad配置文件中 data_source "hadoop" localhost ” 配置项相互对应。 2

jopen 2015-08-30   13932   0

hadoop与mysql数据库的那点事 经验

com/JimLy-BUG/p/5177952.html 转眼间已经接触了hadoop两周了,从之前的极力排斥到如今的有点喜欢,刚开始被搭建hadoop开发环境搞得几乎要放弃,如今学会了编写小程序,每天都在成长一点挺好的,好好努力

htwoz 2016-02-02   14801   0

细细品味大数据--初识hadoop 经验

com/BaiYiShaoNian/p/4769178.html 初识hadoop 前言 之前在学校的时候一直就想学习大数据方面的技术,包括hadoop和机器学习啊什么的,但是归根结底就是因为自己太懒了,导致没有坚持多长时间,

jopen 2015-08-30   15444   0

数据网格平台 Infinispan 经验

Infinispan 是个开源的数据网格平台。它公开了一个简单的数据结构(一个Cache)来存储对象。虽然可以在本地模式下运行Infinspan,但其真正的价值在于分布式,在这种模式下,Infinispan

openkk 2012-06-09   13392   0
P42

  数据分发平台 文档

1. 数据分发平台培训 2008年10月20日 2. 培训大纲数据分发平台(DSP)简介 flowline功能介绍 BI接口在flowline上的实现 组任务组件功能介绍 3. 数据分发平台的设计目

stevewein 2016-11-05   1860   0
培训  

Microsoft大数据计划:在HadoopC#编程 资讯

和 Windows Azure 平台之上的 Hadoop。Microsoft 官方将未来支持 Windows Azure 和 Windows Server 的 Hadoop 框架的产品套件的代号定义为“Isotope”。

openkk 2012-03-02   11339   0
Hadoop  
P64

  大数据智能分析解决方案介绍-ibm 文档

2. 目录大数据分析概述 高性能运算Symphony解决方案 DB2 BLU助力高性能数据集市 大数据案例分析 3. 大数据分析概述 4. “上个月在瑞士达沃斯举行的世界经济论坛上,大数据是一个热点

guet_lee 2017-01-15   10670   0
P114

  智能数据比对系统ELT平台操作手册 文档

 文档密级:秘密 智能数据比对系统ELT平台操作手册 【用户手册】 广州市灵讯通信科技有限公司 2011-01-7 文档密级:秘密 目录 第1章 系统介绍 2 1.1 系统简介 2 第2章 系统管理

xzz168 2014-10-13   2509   0

【译】大数据分析平台搭建教程:基于Apache Zeppelin Notebook和R的交互式数据科学 经验

Apache Zeppelin Notebook,它可以满足您R做数据科学的需求。Zeppelin 是一个提供交互数据分析基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档,并且支持多种语言,包括

solari 2016-02-12   78611   0

数据环境下互联网行业数据仓库/数据平台的架构之漫谈 经验

一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。 先大概列一下互联网行业数据仓库、数据平台的用途: 整合公司所有业务数据,建立统一的数据中心; 提供各种报表,有给高层的,有给各个业务的;

jopen 2015-10-17   110870   0
数据  

SGI 将推出 Cloudera Hadoop 数据分析集群 资讯

系统提供商SGI宣布计划提供运行Hadoop数据分析平台的集群。 SGI Hadoop集群将完全支持Cloudera的发行版,包括 Apache Hadoop (CDH)在SGI的机架式服务器

fmms 2011-10-18   11087   0

超越Hadoop的大数据分析之图形处理尺寸 资讯

本文翻译自《 BIG DATA ANALYTICS BEYOND HADOOP 》译者:许巧辉 另一个来自Google的重要工具,看起来超越了Hadoop MR——Pregel框架实现了图形计算(Malewicez

jopen 2014-06-01   12671   0
Hadoop  

如何让Hadoop结合R语言做统计和大数据分析 资讯

Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起,很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop,可以在 大数据 领域大展拳脚,这对R语言程序员来说无疑是个喜讯

jopen 2015-12-23   48265   0
Hadoop  
P158

  Hadoop 源码分析 文档

 Hadoop源码分析 HDFS 定稿: 2013-7-1 DataNode 定稿: 2013-8-7 NameNode DFSClient 源码版本: Hadoop-1.1.1 http://caibinbupt

brucehtan 2014-11-09   2206   0

前雅虎 CTO 打造 Hadoop数据云计算平台 资讯

前雅虎首席技术官Raymie Stata去年6月创立公司 Altiscale 提供“Hadoop即服务”,近日Altiscale宣布面向公众推出大数据云计算平台,类似亚马逊的Elastic Map Reduce,与其产品极为接近的另一家创业公司是

jopen 2014-01-28   11222   0
Hadoop  

面向Hadoop的、新的数据处理和管理平台:Apache Falcon 经验

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载(onboard)”到Hadoop集群。

jopen 2015-01-29   67916   0
1 2 3 4 5 6 7 8 9 10