cn/JieJueFangAn/15497.html 背景 大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、P
原文 http://dockone.io/article/832 基于阿三的《Mesos大数据资源调度与大规模容器运行最佳实践》,主要就列举一些注意事项 搭建采用的是在笔记本电脑上的virtu
远程数据管理平台说明文档 一、系统技术架构概述 远程数据管理平台是基于Spring3.0的MVC框架搭建。包括了远程数据管理系统和远程数据实时接收系统两部分。 1、远程数据管理系统 前台展示层运用了
XX省电子政务系统 数据交换平台 国际商业机器中国有限公司 2005.5 目 录: 1 概述 数据交换共享平台是协作式电子政务应用平台(包括政府职能部门之间的电子协作、政府与公众/企事业单位的服务管
一说到开源大数据处理平台,就不得不说此领域的 开 山鼻祖Hadoop,它是GFS和MapReduce的开源实现。 虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带
。在读的过程中半总结半翻译,形成本文,跟大家分享。 最近你可能听说很多技术名词,例如“流式处理”、“事件数据”以及“实时”等,与之相关的技术有 Kafka 、 Storm 、 Samza 或者是Spark的
一说到开源大数据处理平台,就不得不说此领域的 开 山鼻祖Hadoop,它是GFS和MapReduce的开源实现。 虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带
Yahoo!的PNUTS是一个分布式的数据存储平台,它是 Yahoo!云计算平台重要的一部分。它的上层产品通常也称为Sherpa。按照官方的 描述,”PNUTS, a massively parallel
政府数据交换平台解决方案 目前,国内各地政府部门和机构或多或少均建立起自己的信息化系统,包括门户网站内容管理系统、OA办公系统、办事审批系统、其它业务系统等。但由于诸多因素的影响,即使同一地区的政
数据的时代,公司也自然愿意为优质的数据花钱, 思科和 IBM 都在利用数据的搜集和交换来孕育下一个商业模式。而一个位于美国拉斯维加斯的初创公司 Terbine 正计划搭建一个大型数据交换平台。 Terbine
1. 淘宝数据应用开发平台泽远@数据平台与产品 Weibo.com/apeks 2. 背景——进入淘宝数据平台数据规模数据产品总台架构概览——数据应用开发架构产品架构技术架构深入——关键服务介绍知识库
1. 淘宝数据开发平台 Cheetah泽远@数据平台与产品 Weibo.com/apeks 2. 背景——进入数据的世界数据的价值?哪些人在使用数据?如何使用数据?数据平台架构——海量数据解决之道总体
会京东实时数据平台技术实践 刘彦伟 2. 目录京东大数据平台介绍 实时数据平台背景 实时数据平台解决方案 关键环节详解 关于平台产品化 3. 京东大数据平台定位支撑全集团数据业务 全集团数据集中 自助式服务平台模式
基于Eclipse的Hadoop开发环境配置 废话少说,先说一下开发环境版本。 Hadoop: Apache Hadoop-0.20.0 Eclipse: Eclipse 3.4
Cloudbreak 是首个基于hadoop的docker service API。 Cloudbreak 建立于 Apache Ambari , Docker containers, Serf 和 dnsmasq
一。用hadoop作网络爬虫的原因 爬虫程序的海量计算特性要求必须要用分布式方式来实现。一般爬虫爬取的是整个互联网上的所有或部分数据,这个数据量一般是P byte级,至少也是T byte级,因此用分
1. 基于Hadoop的电影推荐系统 答辩者:李婷婷 指导老师:师智斌 2. Hadoop在大型内容推荐系统中的应用 背景 推荐效果 技术选型 技术实现 推荐系统的评测 Hadoop&Hive使用经验
Cloudera 发布实时查询开源项目 Impala (黑斑羚)!多款产品实测表明,比原来基于MapReduce的Hive SQL查询速度提升3~90倍。Impala是Google Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。
sqlite-browser是一个用Python编写基于Web的SQLite数据库浏览器。 项目依赖 flask peewee 安装: $ pip install sqlite-browser
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。