Hadoop集群上运行R程序--安装RHadoop 经验

RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的

jopen 2013-01-06   14531   0

如何在Hadoop 2.0上实现深度学习? 经验

这本身有它 自己的挑战。 下面我们就将一起探讨如何将深度学习(最前沿的机器学习框架)部署到Hadoop的集群中。还将提供如何对算法进行修改以便适应分布式环境。同时还将展示在标准数据集下的运行结果。

jopen 2015-03-11   21678   0

Hadoop的一个Job跟踪器:Timberlake 经验

Timberlake是一个Go服务器搭配React.js作为前端。它改善现有的 Hadoop job 跟踪器,通过提供正在运行和已经完成MapReduce jobs的一个轻量级实时视图。Timberlake

jopen 2014-11-24   11549   0

Hadoop 迭代式计算框架:Guagua 经验

Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目。Guagua 主要解决了模型训练的分布式问题。同时 Guagua 并没有将自己局限在分类模型,Guagua

jopen 2014-07-30   14227   0

Hadoop log4j日志说明 经验

system properties hadoop.root.logger=INFO,console hadoop.log.dir=. hadoop.log.file=hadoop.log # # Job Summary

jopen 2013-12-27   53598   0

腾讯TDW:大型Hadoop集群应用 经验

TDW(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。

jopen 2015-07-28   19632   0

hadoop2.7完全分布式安装 经验

3、/etc/profile HADOOP_PREFIX=/opt/hadoop JAVA_HOME=/opt/jdk1.7 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/

mxw8 2015-06-21   34384   0

hadoop2.7.1环境搭建 经验

在老板的支持下,陆续划拉到了10几台机器,绑定了固定IP,工作之余开始了Hadoop之旅。将要点记录下来,以备查阅。 硬件构成: Resource Volume CPU 2 cores

jopen 2015-12-29   9501   0

Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3) 经验

最好与你要创建的表名一致,这样方便查看和管理 create external table hadoop_1(id int,name string) row format delimited fields

jopen 2015-12-29   9440   0

CG_Hadoop:基于MapReduce的计算几何 经验

摘要: Hadoop使用了MapReduce编程范式,目前已经被公认为是分布 式环境中分析大数据的标准框架。然而,它并不能很好的应用于大规模的计算几何处理。本文介绍的CG_Hadoop是一套可伸缩的和高效的

jopen 2016-01-05   23913   0

如何让Hadoop支持优先级且性能可预测 经验

Apache Hadoop近十年的成长证明,用开源技术处理与访问海量数据并不是什么炒作。然而,Hadoop的一个缺点是不可预测性。Hadoop不能确保企业的关键任务按时完成,也不能完全发挥集群的性能。

LukeOlivare 2016-06-17   11606   0

hadoop再次集群搭建(1)-安装系统 经验

从8月份到现在12月份,中间有四个月的时间没有学习hadoop系统了。其实适应新的环境,到现在一切尘埃落定,就应该静下心来,好好学习一下hadoop以及我之前很想学习的mahout。个人对算法比较感兴

jopen 2016-01-18   8681   0

RedHat开源其Hadoop存储系统 资讯

作为大数据+混合云业务战略的一部分,Red Hat 没有选择推出自己的 hadoop 商业版本或者收购一家 Hadoop 发行厂商,而是推出了首个 Hadoop HDFS 文件存储系统的开源替代产品。 Red Hat

jopen 2013-02-22   8798   0
Hadoop  

Spring for Apache Hadoop 1.0 RC1 发布 资讯

Spring Hadoop 为开发 Apache Hadoop 应用程序提供支持,充分利用 Spring, Spring Batch 和 Spring Integration 等项目提供的功能。 Changes

jopen 2012-10-18   9698   0
Hadoop  

DataStax融资1100万,NoSQL、Hadoop大热 资讯

创业公司DataStax为企业提供基于开源 NoSQL 数据库 Apache Cassandra 的 Hadoop构建方案。公司近日宣布完成1100万美元B轮融资。这家位于旧金山海湾区的创业公司于2010年建立,目前公司有30名员工。本次融资由

webphp 2011-09-26   7191   0

官方正式发布 Apache Hadoop 2.5.0 版本 资讯

尽管下载文件在前几天已经发布,不过官网上今天才发布了 Apache Hadoop 2.5.0 正式版,这是一个小更新版本,包括一些主要新特性和改进以及 Bug 修复,例如扩展文件属性和改进 HDFS 的

jopen 2014-08-15   6456   0

HDFS 进化,Hadoop 即将拥抱对象存储? 资讯

Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone,能将HDFS从文件系统扩展成更加复杂的企业级存储层。 Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境,这

jopen 2014-10-15   11494   0
Hadoop  

Azure HDInsight与Hadoop周边系统集成 资讯

传统的Hadoop系统提供给用户2个非常优秀的框架,MR计算框架和HDFS存储框架,尽管MR已经显得有些老迈而缓慢,但是HDFS还是很多 应用系统的基石,很多应用都可以把HDFS作为系统的基本数据输入

jopen 2015-02-14   12214   0
Hadoop  

Spring for Apache Hadoop 2.1.0.M3 发布 资讯

Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于

码头工人 2014-12-19   20627   0

破解迷雾:关于大数据与Hadoop的九大误区 资讯

也会导致大家错过将预算资源投向更具意义的业务实践方法的机会。 在今天的文章中,我们将一同了解九大千万不可轻易着道的大数据与Hadoop相关认识误区。 误区一:我们能够轻松雇用到数据科学家 最近,我们公司某合作企业的一位售前工

jopen 2015-06-23   11979   0
Hadoop  
1 2 3 4 5 6 7 8 9 10