Spark:比Hadoop更强大的分布式数据计算项目 经验

进行多次迭代,来支持复杂的数据挖掘算法和图计算 算法。 Spark使用Scala开发,使用Mesos作为底层的调度框架,可以和hadoop和Ec2紧密集成,直接读取hdfs或S3的文件进行计算并把

jopen 2014-12-03   46280   0

MapR发布新版Hadoop 支持跨数据中心复制 资讯

这种软件目前还在早期研发阶段,它将把Hadoop YARN集群资源管理器,任务调度程序和新兴管理框架Apache Mesos结合起来,Mesos能够使多种工作负载在一个数据中心里同时运行。Myriad项目是由MapR、eBay和Mesosphere合作完成

jopen 2015-03-09   4930   0
Hadoop  

基于 Docker 1.12 Swarm 的集群管理开发实践 经验

Mesos/Marathon 折腾久了,我们一直希望有机会深入到 Swarm 内部一探究竟。 另外, Mesos 这一套东西虽然是久经企业级考验的, 但是安装、部署和使用相对复杂,上手有门槛。同时,在今年的

KarrySpearm 2016-09-08   11333   0

Docker监控怎么做? 经验

通过kubedash进行展示,界面如下: Mesos的监控方案 而Mesos提供一个mesos-exporter工具,用于导出mesos集群的监控数据prometheus,而prometheus是个集

sakai 2016-08-19   20225   0

DockOne技术分享:OpenStack Magnum社区及项目介绍 资讯

第二步就可以在第一步创建的baymodel基础上创建bay了,用户可以选择使用Kubernetes或者Swarm,未来还会有Mesos。 第三步,当bay创建完成后,用户就可以通过调用Magnum API和后台的k8s或者swarm交互来创建container了

jopen 2015-06-17   20888   0
DockOne  

Spark,一种快速数据分析替代方案 经验

是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms

fmms 2012-01-05   77287   0

爱奇艺基于 Docker 的 App Engine 实践 经验

为什么要从虚机到基于Docker的这种转变的话,我们从最早的时候是13年底开始接触Mesos,我们有非常强的mesos的背景,我们首先考虑的是从资源效率的方面考虑的,所以最早的时候想要实现一个App

hp4471 2016-07-20   54731   0

Docker周报:现代化的分布式应用正成为主流 资讯

《通过Docker来部署Mesos集群》 :本文介绍了如何使用Docker来启动Mesos集群,非常简单,只需要7个命令即可,整个过程会涉及到4个容器,分别是ZooKeeper、Mesos Master、Marathon、Mesos

jopen 2015-01-10   12219   0
Docker  

Docker周报:OpenShift 3开发完成,即将发布 资讯

Image。 《Apache的Mesos和Google的Kubernetes 有什么区别?》 :本文来自StackOverFlow上的一个问题,主要讨论Mesos和Kubernetes的区别,相信我们很多人也有同样的疑问。

jopen 2015-01-25   22120   0
Docker  

深入浅出Docker(四):Docker的集成测试部署之道 经验

通过这些工具可以定制出企业私有的PaaS服务。 1) Apache Mesos + marathon Apache Mesos系统是一套资源管理调度集群系统,生产环境使用它可以实现应用集群。此系统

jopen 2014-12-27   48378   0
Docker  

分布式并行计算调度和管理系统Summoner 经验

为什么要做“数据”并行计算调度? 他山之玉:azkaban2/oozie/mesos Summoner的特性 Summoner 是国玺部门推出的基于 MySQL+Redis+Zookeeper 的

jopen 2016-01-08   15956   0

Marathon 0.15: 更稳定 更多数据 更易用 资讯

的0.15版增加了许多新功能,并进一步提升了性能、监控和用户界面等方面的表现。 数人云基于Mesos技术,使用Marathon部署及监控长期运行的容器化应用程序,我们长期密切关注着Marathon

jopen 2016-02-15   6296   0
技术  

分布式计算系统,Spark 发布1.0.0 版本 资讯

是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms

jopen 2014-05-30   29373   0
Spark  

深入浅出Docker(六):像谷歌一样部署你的应用 经验

脑看待。这个思想在没有Docker容器技术之前,早已在分布式系统中得到大量应用,类如Hadoop、Mesos、Yarn。由于虚拟化技术的限制,对 于更大实例规模仍然有很大的局限性。Docker技术出现后,

f663x 2015-03-14   45743   0
Docker  

traefikv1.1.0-rc2 发布,一款开源的反向代理与负载均衡工具 资讯

务系统直接整合,可以实现自动化动态配置。目前支持Docker, Swarm, Mesos/Marathon, Mesos, Kubernetes, Consul, Etcd, Zookeeper, BoltDB

jopen 2016-10-17   10768   0

《Spark官方文档》集群模式概览 经验

特别要指出的是,SparkContext能与多种集群管理器通信(包括:Spark独立部署时自带的集群管理器,Mesos或者YARN)。一旦连接上集群管理器,Spark会为该应用在各个集群节点上申请执行器(execu

fyfg0690 2016-02-28   9942   0

Docker周报第15期 资讯

Image。 微软技术博客 Apache的Mesos和Google的Kubernetes 有什么区别? 本文来自StackOverFlow上的一个问题,主要讨论Mesos和Kubernetes的区别,相信我们很多人也有同样的疑问。

jopen 2015-01-25   21659   0
Docker  

Airbnb架构要点分享 经验

,并自己开发了很多工具。虽然Mesos集群控制器已经被前Twitter和Airbnb工程师商业化,但他们现在使用Mesos并不多, 因为他们觉得: 本质上讲,Mesos是一个抽象层。其设计初衷是让

jopen 2015-09-22   22226   0

Docker三剑客之Swarm介绍 资讯

Swarm对集群进行了抽象,抽象出了Cluster API,Swarm支持两种集群,一种是Swarm自身的集群,另外一种基于Mesos的集群。 LeaderShip模块用于Swarm Manage自身的HA,通过主备方式实现。 Discovery

jopen 2015-09-09   17983   0
Swarm  

具备容错特性的作业调度器:Chronos 经验

Airbnb 公司推出的用来替代 cron 的开源产品。你可以用它来对作业进行编排,支持使用 Mesos 作为作业执行器,支持和 Hadoop 进行交互。可定义作业执行完成后的触发器。支持任意长度的依赖链。

jopen 2013-12-18   21989   0
1 2 3 4 5 6 7 8 9 10