Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类...

LTS是一个轻量级分布式任务调度框架。有三种角色, JobClient, JobTracker, TaskTracker。各个节点都是无状态的，可以部署多个，来实现负载均衡，实现更大的负载量, ...

14年双11大促缓存方案，今天有点闲暇时间，回顾一下当时的思路。

当我们构建服务端应用的时候，都会面临数据存放的问题。不同的数据类型有不同的存放方式，譬如关系型数据通常使用MySQL来存储，文档型数据则会考虑使用MongoDB，而这里，我们仅仅考虑最简单的kv...

本文我将对一致性算法作介绍，同时谈谈自己对一致性hash和一般意义上的hash算法的区别

今天谈谈分布式事务的时序问题。在说这个问题之前首先说说这为什么是个问题。

Algolia是一家做离线移动搜索引擎的公司，两年时间构建了世界范围的分布式网络。今天为世界12个区域每月20亿用户查询，平均服务器时间为6.7ms，90%的查询应答<15ms，不可用率低于十的...

Failover是指系统处理故障并恢复的过程，目前大多数分布式系统都实现了自动Failover的机制，即使发生局部失败也能继续提供服务。Failover测试则是通过主动注入错误，模拟出各种软硬件...

一个轻量化的分布式服务框架，相信这类框架已经不是什么新鲜事物，可用的替代方案有很多这里就不多说了，说一下RSF解决的问题把。

如今移动互联网行业呈爆发式发展，随着业务用户规模和业务逻辑趋向复杂，后端系统的开发和维护变得越来越困难，目前业界涌现出各种各样的技术文章 介绍分布式缓存设计、分布式数据库设计、负载均衡、HA策略...

把分布式系统中各个组件的工作汇总起来，就可以得到一个全面的跟踪系统。 每个公司都会有一套自己的分布式跟踪系统。Google的Dapper，Twitter的zipkin，淘宝的鹰眼，新浪的...

还是很多很多年前，做过一个小系统，是一个和支付相关的小系统。因为是一个小系统，所以一切都那么简单。一台应用服务器，一台数据库服务器；文件、图片都放在应用服务器上，一切都是那么的平淡，一切都是那么...

分布式计算是现代计算和通信系统的基础。在大规模网络系统方面的一个例子是互联网，而在多处理器方面的一个例子则是新式多核笔记本电脑。下面的这些 讲演材料介绍了分布式计算的原理，重点围绕设计分布式系统...

简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 集群主要分为：高可用集群(High Availability Cluster)，...

在移动及云时代，尽管大部分可扩展的问题可以通过云平台解决，但是服务本身的扩展性挑战仍然存在。比如一个新的项目，用PHP或JSP实现了基本功 能，部署在Apache或Tomcat等容器上，在业界这...

传统的运维人员通常只面对几十或者上百台的服务器，但在大规模分布式集群中，运维人员面 临工作任务明显不同。本文分别阐述服务器数量激增，要求提升全局掌控能力，如何实现系统的自我保护和自动化恢复，大规...

Linux集群主要分成三大类( 高可用集群， 负载均衡集群，科学计算集群)（下面只介绍负载均衡集群） 负载均衡集群(Load Balance Cluster) 负载均衡系统：集群中所...

最近研究分布式数据库架构，发现排序、分组及分页让着实人有点头疼。现把问题及解决思路整理如下。

摘要：分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Pa...

Dryad的论文是微软早在2007年就发布的，Tez的核心思想来源于Dryad，差不多可以算是Dryad的开源实现吧。最近正好看到几个有趣的项目是基于Tez实现的，于是顺便追本溯源，学习了一下D...