开源集群计算环境,Spark 1.1.0 发布 资讯

0为22万行。一方面,感谢Scala语言的简洁和丰富表达力;另一方面,Spark很好地利用了Hadoop和Mesos(伯克利 另一个进入孵化器的项目,主攻集群的动态资源管理)的基础设施。虽然很轻,但在容错设计上不

jopen 2014-09-12   16979   0
Spark  

电子书:《Docker入门实战》 资讯

00余篇文章,内容涉及Docker、CoreOS、Kubernetes、OpenStack、 Mesos、Yarn、Swarm、Machine、Compose、Deis等,其中有新闻,有教程,有深度解读,我想我们真的是做了一件酷的不得了的

jopen 2015-03-09   38884   0
Docker  

Twitter已经用Heron替换了Storm 资讯

从而控制流经拓扑的数据量。除 Aurora外,Heron还可以使用其它服务调度器,如YARN或Mesos。实例运行用户编写的Java代码,每个实例一个JVM。Heron通过协 议缓冲处理彼此间的通信,

jopen 2015-06-15   17355   0
Heron  

如何在生产中成功运用Docker 资讯

他们从两年前开始向Docker容器迁移,做过很多尝试,也失败过很多次。 最后,我们开始运用Mesos,但当时它还没有认证……我们还尝试在Docker中运行Kafka,如果Kafka失败了,那么我们

jopen 2015-12-04   7444   0
Docker  

Spark学习笔记之浅释 经验

运行框架: 1.Hadoop的MapReduce框架平台YARN 2.Apache Mesos框架平台 3.Spark的Standalone框架平台 4.亚马逊的AWS平台 另,与Hadoop2

jopen 2015-06-20   13091   0

Rancher Labs发布开源跨云容器管理平台Rancher 1.0 资讯

移回来。 Rancher平台未来的工作可能会包括支持其他的容器调度器,比如 Apache Mesos ,以及在“Windows Server 2016 GA发布”后增加微软Windows支持。Wi

jopen 2016-04-12   9411   0
开源   Docker  

Apache Spark 1.6.1 发布,集群计算环境 资讯

是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms

jopen 2016-03-11   27731   0

Deis v1.6.0 发布,Docker Swarm 技术预览 资讯

下一步计划 Deis 将会添加新的应用容器,提升集群效率,支持 Kubernetes 和 Mesos。Deis 控制面板和数据面板默认使用 fleet。Deis 将会继续改进测试基础设施,加速测试套件和加大测试覆盖。

jopen 2015-05-08   6442   0
Deis  

开源 PaaS 系统,Deis v1.10.0 发布 资讯

deisctl install and similar commands group k8s, mesos, and swarm components logically deisctl dock and

jopen 2015-09-05   8985   0
Deis  

Rancher Labs发布开源跨云容器管理平台Rancher 1.0 资讯

移回来。 Rancher平台未来的工作可能会包括支持其他的容器调度器,比如 Apache Mesos ,以及在“Windows Server 2016 GA发布”后增加微软Windows支持。Wi

jopen 2016-04-12   8014   0
开源   Docker  

开源分布式计算系统,Spark 1.2 发布 资讯

是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms

jopen 2014-12-19   23822   1
Spark  

数据仓库系统,Shark 0.2 发布 资讯

很大程度上简化了部署的流程,例如:本地运行Shark包含了一个 5分钟内 在本地启动Shark 0.2的指引 除了运行在Mesos上外,Shark现在也支持Spark的单一部署模式,可以让你快速的启动一个集群,而不需要安装一个

jopen 2012-10-22   12686   0
Shark  

初步使用 Docker 后感 经验

我发现在使用了docker之后组内的人都倾向于用docker. 至于研发, 则是强烈赞同用docker. 研发还想上Mesos管理, 这次则是轮到我反对了, 我觉得目前整个公司都还刚用上docker, 很多人还没概念, 不要走的太超前

e2ex 2015-05-15   31603   0
Docker  

Twitter开源了流数据处理引擎Heron 经验

们曾贡献了 Apache Storm ,它开源于2011年。还有集群资源管理器 Apache Mesos 、MapReduce流数据处理架构 Summingbird 以及更近期提交的高性能日志复制服务

MosKesler 2016-10-09   7776   0

利用OpenStack技术来构建开发测试平台实现精益研发 经验

rnetes、Mesos等工具来解决, HPE目前是通过开发自己的Fance组件来和Cloud Foundry做一个集成,来管理Docker服务 。 Kubernetes、Mesos等工具纯粹是为

qingcha 2016-05-10   36903   0

虚拟化技术的昨天、今天和明天 资讯

另一个威胁是,现在还看不出的一些威胁。类似Mesos这样的工具可能会在流行起来之后决定不再使用Docker,而关注于其他虚拟化途径。同样地,可能什么时候,Mesos会觉得Docker能带来的虚拟化级别的价值比不上维护Docker的花费。

dgbm 2015-07-31   18321   0

Twitter技术VP:我在眼泪中学会的6点架构设计经验 经验

ache)集群,以及夜鹰集群(分布式Redis)。Twitter也迁移了几乎所有的主要的缓存到Mesos,以降低运行成本。 对于Cache来说,扩展性和性能是首要挑战。Twitter运营了数个集群

zoyn7910 2017-02-22   6989   0

王团结:如何用Hadoop/Spark构建七牛数据平台 资讯

net/article/2015-07-30/2825342 继“ YARN or Mesos?Spark痛点探讨 ”、“ Mesos资源调度与管理的深入分享与交流 ”、及“ 主流SQL on Hadoop框架选择

jopen 2015-07-30   15456   0
Hadoop  

Twitter技术VP:我在眼泪中学会的6点架构设计经验 经验

ache)集群,以及夜鹰集群(分布式Redis)。Twitter也迁移了几乎所有的主要的缓存到Mesos,以降低运行成本。 对于Cache来说,扩展性和性能是首要挑战。Twitter运营了数个集群

VeoCarruthe 2017-02-22   13654   0

Dpark源码剖析一(概述) 经验

提供了三种运行方式:本地模式(local,单进程)、多进程模式(实际上也是单机)以及mesos模式(使用mesos来调度达到分布式计算的目的)。 RDD 首先需要说明的是弹性分布式数据集(RDD)

1 2 3 4 5 6 7 8 9 10