开发基于VMware虚拟平台Hadoop应用 Serengeti 经验

Serengeti,支持企业能够在虚拟和云环境中快速部署、管理和扩展Apache Hadoop。用于在虚拟平台上快速开发一个Apache Hadoop集群(HDFS, MapReduce, Pig, Hive, ..)。

openkk 2012-06-15   19326   0

配置高可用的Hadoop平台 经验

概述 在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK

jopen 2015-02-26   38061   0

Hadoop平台架构 经验

来自: http://www.itweet.cn/2016/01/25/Hadoop-Disk-Planning/ 文章目录 1. 简介 2. 走向分布式 3. 存储规划 4. HDFS目录规划 4

dongpo 2016-01-27   21195   0
P24

  Hadoop 平台结构浅析 文档

1. Hadoop平台结构浅析什么是Hadoop? Hadoop是Apache下面的一个分布式并行计算框架,是从Lunece中抽取出来的一个框架。Hadoop的核心设计思想是MapReduce和HDFS

liu1122 2013-01-20   2848   0

Hadoop平台集群搭建 经验

1. Linux配置hadoop环境 环境:Ubuntu10 linux、 jdk-7-linux-i586.tar.gz 1.1 将jdk上传到Ubuntu a. 在虚拟机中设置->选项->共享文件夹

jopen 2014-03-19   12260   0

基于twisted实现的智能dns系统:smartdns 经验

smartdns 是 python 语言编写,基于 twisted 框架实现的dns server,能够支持针对不同的dns请求根据配置返回不同的解析结果。smartdns获取dns请求的源IP或者客户端IP(支持edns协议的请

jopen 2014-01-06   18380   0
P28

  大数据统计分析平台架构故事---TalkingData数据库架构变迁 文档

1. 从草根到云端 – TalkingData 数据库技术进化TalkingData Tech VP 周海鹏 2014-10 2. “人们”眼中的TalkingDataApp AnalyticsGame

c6g3 2015-02-25   5670   0
方案   SQL  

部署大数据?请参考大数据分析平台架构(Big Data Analytics Platform) 经验

一、数据分析平台层次解析 大数据分析处理架构图 数据源: 除该种方法之外,还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构,而特别要说的是流数据,它的核心就是数据的连续性和快速分析性;

jopen 2015-04-03   72981   0

解密Airbnb数据流编程神器:Caravel 颠覆许多大数据分析平台的开源工具 经验

我非常认同前百度数据工程师、现 神策分析 创始人桑老师最近谈到的数据分析三重境界: 统计计数 多维分析 机器学习 数据分析的统计计数和多维分析,我们通常称之为数据探索式分析,这个步骤旨在

P19

  javaweb之十四(元数据分析) 文档

深入dbutils的实例原理-元数据分析 讲师:王健,QQ:549051701 1、今天的主要内容: 2、今天的主要内容如下 2.1、表之间的关联中的级联关系 1:不设置 - 默认。 当删除主表中的数据时,如果子表中已

wangjianme 2013-03-03   1425   0
P

数据结构与算法分析学习笔记 文档

数据结构与算法分析是计算机专业的必修课——但遗憾的是,我在大学阶段并不是计算机专业的学生,以至于没有系统地跟着老师学习过这门课程。现在我已经工作了,在实际的工作中,我经常感到自己的基础知识不够,有很多问题无法解决。在经历了一段痛苦的斗争后,我选择了自学的道路,想把这门课程扎扎实实地学好。教科书中已经给出了大部分的代码,因此,我基本上也只是重复敲入了一次而已(或者是改写成C++),但这并不是没有意义的。我们在看书的时候经常会觉得自己已经懂了,但如果真的要亲自动手去做了,却会感到无法下手。我认为,亲自输入一次代码并调试通过,比任何空谈都有效。

hb0308513 2011-01-09   461   0

DataCleaner 3.5.1 发布,数据质量分析 资讯

是一个数据质量分析工具,可让您进行数据分析,验证和模拟类似ETL的任务。这些活动可以帮助您管理和监控数据质量,以确保您的数据是有用的,适用于您的业务情况。它可用于主数据管理(MDM)的方法,数据仓库项目,统计研究,为提取

jopen 2013-06-13   6337   0

数据分析到底需要多少种工具? 资讯

种不同的分类学习方法(分类学习算法)在 121 个数据集上的性能,发现 Random Forest (随机森林)和 SVM (支持向量机)分类准确率最高,在大多数情况下超过其他方法。本文针对“大数据分析到底需要多少种工具?”这

码头工人 2015-01-02   17990   0
P43

  数据结构经典问题和算法分析 文档

数据结构经典问题和算法分析(一)-迭代法 来源:   作者:   2007-5-30 21:17:53   字体:[大 中 小] 一、迭代法    迭代法是用于求方程或方程组近似根的一种常用的算法设

threeg 2014-11-20   433   0

运用Spark加速实时数据分析 资讯

chinacloud.cn/show.aspx?id=22168&cid=12 Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统,并且得到了Cloudera、Hortonwork

jopen 2015-10-29   11656   0
Spark  

如何运用Spark进行实时数据分析 资讯

Apache Hadoop是一个成熟的开发框架,其连接着庞大的生态系统,并且得到了Cloudera、Hortonwork、Yahoo这些卓越机构的支持与贡献,并且为各个组织提供了许多工具来管理不同大小规则的数据。

勿忘初心321 2015-12-21   32298   2

数据中心丢包分析及解决方案 经验

上周对数据中心tcp数据传输的超时重传时间进行了探究,是的,我们可以缩短重传超时时间,但为什么在数据中心内部也会出现丢包呢?下面会对这个问题进行探讨。 下面几种丢包情形是大家所熟悉的: 1、数据中心内网的某个端口的带宽跑满

jopen 2015-03-31   22090   0
数据  

使用Python和Pandas分析Pronto CycleShare数据 经验

这是一篇非常不错的pandas 分析入门文章,在此简单翻译摘录如下。 本周,西雅图的自行车共享系统 Pronto CycleShare 一周岁了。 为了庆祝这一点,Pronto 提供了从第一年的数据缓存,并宣布了 Pronto

demond123 2017-02-20   19371   0
P20

  数据流图与需求分析建模案例 文档

2.2 数据流图数据流图(Data Flow Diagram,DFD)是描述系统中数据流程的图形工具,它标识了一个系统的逻辑输入和逻辑输出,以及把逻辑输入转换为逻辑输出所需的加工处理。数据存储数据源点 或终点加

jidechao 2012-06-13   6319   0
报告  

PHP查询MySQL大量数据的内存占用分析 问答

这篇文章主要是从原理, 手册和源码分析在PHP中查询MySQL返回大量结果时, 内存占用的问题, 同时对使用MySQL C API也有涉及. 昨天, 有同事在PHP讨论群里提到, 他做的一个项

jopen 2011-12-20   14962   2
MySQL   PHP   C/C++  
1 2 3 4 5 6 7 8 9 10