微软大数据框架:REEF 经验

REEF 是微软开发的一个大数据框架。 REEF运行在YARN的上层。YARN是 新一代Hadoop资源管理器,通过YARN,用户可以运行和管理同一个物理集群机上的多种作业,例如MapReduce批处理和图形处理作业。这样不仅

jopen 2013-08-15   31415   0
REEF  

大数据分布式文件系统:QFS 经验

Quantcast File System (QFS) 是一个高性能、容错、分布式的文件系统,其开发是用于支持 MapReduce 处理或者需要顺序读写大文件的应用。

jopen 2013-04-14   15833   0
QFS  

如何挑选合适的大数据或Hadoop平台? 经验

soft等几乎所有的大型软件提供商都采用了Hadoop。然而,当你已经决定要使用Hadoop来处理大数据时,首先碰到的问题就是如何开始以及选择哪一种产品。本文讨论了不同的选择,并推荐了每种选择的适用场合。

jopen 2015-02-19   45764   0

网易大数据平台的Spark技术实践 经验

网易的实时计算需求 对于大多数的大数据而言,实时性是其所应具备的重要属性,信息的到达和获取应满足实时性的要求,而信息的价值需在其到达那刻展现才能利益最大化,例如电商网站,网站推荐系统期望能实时根据

jopen 2014-12-19   64036   0

实时大数据分析平台:Ebay Pulsar 经验

eBay 开源的实时大数据分析平台。 作为全球性的商务平台和支付行业领先者,拥有海量的用户行为数据。 基于现有的hadoop大数据处理,已经不能够满足业务上对实时性的需求。基于过去的大数据处理的经验和对

jopen 2015-03-03   35429   0

60款顶级大数据开源工具 经验

说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market

jopen 2015-11-14   179651   0

开源大数据处理工具汇总(上) 经验

本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者:: Salesforce

jopen 2016-01-05   78569   0

9个最佳的大数据处理编程语言 经验

英文原文: The 9 Best Languages For Crunching Data 大数据的浪潮仍在继续。它渗透到了几乎所有的行业,信息像洪水一样地席卷企业,使得软件越发庞然大物,比如 Excel

天天在做大数据,你的时间都花在哪了 经验

那么延生出来,我们有没有想过大数据本身? 大数据到底是在做什么,为什么我做了这么多年的大数据,总是做不完呢? 大数据本质是: 随着科学技术发展,更多的数据能够被存储了,能被分析了。所以有了大数据的概念。 机器学习的本质是:

vc3175 2016-06-15   10545   0
P47

  高端信息安全检测与大数 文档

1. 高端信息安全检测和大数据 潘柱廷 中国计算机学会 常务理事、副秘书长 启明星辰公司  首席战略官 2012年9月15日 2. 提纲关于安全 关于安全检测 高端安全检测问题 宏观态势感知 APT 检测模式的变化

timdeng 2012-12-17   3030   0
方案  
P58

  大数据的十个技术前沿 文档

1. 大数据的十个技术前沿吴甘沙 英特尔中国研究院 2. Legal DisclaimersINFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION

cpp45 2015-01-18   4260   0

欺诈检测--大数据的安全管理 资讯

现在越来越多的银行业务依赖大数据和物联网基础设施,比如,移动支付、网上银行和智能售货机。但在这些交易过程中存在大量的个人敏感的身份信息需要保护。大数据安全是一个极大挑战的问题,因为作弊者在不断的寻求新

jopen 2016-01-13   10896   0

2016年,大数据还是回事么? 资讯

个 like,3800 次 share,400 多条 comment,笔者也觉得很神奇。这里就跟从事大数据或者投资领域的朋友推荐一下。原文作者是 VC First Mark 的 Mark Turck,提下这一家

jopen 2016-02-24   39098   0

php快速得到大数组里的随机小数组 代码段

有个猜用户喜欢的功能,用户可以通过点击换一组,来刷新推荐的内容。 先通过数据库查询,得到前1000条数据,然后随机去除4条。 程序写完之后,发现运行的很慢,每次刷新,都要等很久才出来。 代码如下: $arr = range(1, 100000); $start = time(); for($i = 0; $i < 100; $i ++){ $key = mt_rand(0, 99999 - $i)

e2ex 2015-05-14   764   0
PHP  
P6

  Twitter利用Storm系统处理实时大数 文档

http://www.focustar.net Twitter利用Storm系统处理实时大数据 Hadoop(大数据分析领域无可争辩的王者)专注于批处理。这种模型对许多情形(比如为网页建立索引)已经足够

pwgw 2016-02-04   404   0
P6

  大数据集群环境搭建-02 文档

大数据集群环境搭建-02 4 Hive安装配置 4.1 Requirements l Java 1.7+ Note:  Hive versions 1.2 onward require Java 1

Stone1985 2016-07-28   566   0
P17

  一张图看懂美国大数 文档

一张图搞懂美国大数据产业 2015-12-28 益派咨询 益派咨询 数据科学早已不是新鲜事物了,不过对数据质量的需求却是这几年才激增起来的。这可不是一阵时尚或旧词新用,而是一场革命。大至总统选举,小至总部

guet_lee 2017-01-12   1235   0

企业大数据平台:RedHadoop 经验

RedHadoop 是一个持续优化的企业级Hadoop基础软件平台,让Hadoop大数据更简单! RedHadoop大数据工场企业版是RedHadoop公司第一款产品,简称BWE(RedHadoop

jopen 2013-10-20   19569   0
P34

  互联网大数据解决方案 文档

 互联网大数据解决方案 2015年3月 一、 检察院综合查询系统方案说明 1 现状 a) 不同项目的查询,分别由独立的系统承担,且系统之间无联系,数据以孤岛形式存在,仍需人工进行比对处理。 b) 因

guet_lee 2017-01-12   11280   0

思科安全大数据分析框架:OpenSOC 经验

思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异

jopen 2014-12-19   45317   0
1 2 3 4 5 6 7 8 9 10