架构解剖之美-类-“编码规范”头顶三尺有神灵：写代码是在和电脑交流;是在和背后的人交流架构示意图编码规范代码质量三要素：可读、可维护、高效率1.可读性规范而且好看2.可维护性可读性支撑了可维护性，但进一步要求代码易于维护、易于变更3.高效率在关键应用场景中。

内容概要：本文分析了大型程序系统设计中经常需要面对的同步和异步结构问题。列举异步结构模式实现手段，论证异步模式效率远远优越于同步模式，证明在硬件资源理想情况下，对同步模式而言并发量对计算机系统的平均交易处理时间没有影响，对异步模式而言平均交易处理时间会随着并发量的增大而急剧下降，最终也趋向一个恒定值。在实际有限计算机资源情况下，程序设计必须设置最大并发量以控制并发程度，否则过多并发量会形成交易对硬件资源的竞争，造成交易的拥塞。

本文作者在Cernet做过拨号接入平台的搭建，而后在Yahoo3721负载搜索引擎前端平台开发，又在猫扑处理过大型社区猫扑大杂烩的架构升级等工作，同时自己接触和开发过不少大中型网站的模块，因此在大型网站应对高负载和并发的解决方案上有一些积累和经验，可以和大家一起探讨一下。　　一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。

\数据平台与产品淘宝网淘宝卖家供应商消费者搜索、浏览、收藏、交易、评价...一些数字淘宝主站：30亿店铺、宝贝浏览10亿计的在线宝贝数千万量级交易笔数数据产品：50G统计汇总结果千万量级数据查询请求平均20.8ms的响应时间（6月1日）海量数据带来的挑战计算计算的速度处理吞吐量存储存储是为了更方便地查询硬盘、内存的成本查询“大海捞针”全“表”扫描架构总览今天的话题关系型数据库仍然是王道NoSQL是SQL的有益补充用中间层隔离前后端缓存是系统化的工程关系型数据库仍然是王道关系型数据库有成熟稳定的开源产品SQL有较强的表达能力只存储中间状态的数据查询时过滤、计算、排序数据产品的本质拉关系做计算

体系结构概述分布式采集系统是建立在hadoop分布式文件系统和zookeeper分布式协调系统基础之上的，所有的数据都存储在分布式文件系统hdfs上，服务器之间的通信、同步等操作都是通过zookeeper服务器完成。采集器的设计全网采集器共分三部分：TaskListner，Crawler，ResultSummiter。TaskListner模块：用JAVA语言编写，为了方便的与ZOOKEEPER和HDFS通信。它的主要作用是监测任务文件夹，发现有任务文件生成，便调用一个Crawler程序对任务进行采集。TaskListner可以同时调用多个Crawler程序进程，并行采集。Crawler模块：用C++语言编写，它的主要作用是对任务文件中的URL进行采集，采集完成后调用ResultSummiter函数将采集结果上传到HDFS上。ResultSummiter模块：用JAVA语言编写。

数据平台与产品部图海云梯1其他集群点击流日志LogServereveryday…everytime…云梯的存储职责怎么办?怎么办?怎么办?删除历史数据，立竿见影，省力又省事怎么办?“21世纪核心的竞争是数据的竞争”“谁拥有更多数据，谁就拥有未来”前端交易系统、商品中心、用户中心等出于效率的考虑，不会长期保存大量历史数据，而数据仓库作为企业数据分析及挖掘的基础设施，天生具有保存历史数据的职责，非但如此，如何快速、高效的获取历史上任意一天的快照数据也成为设计历史数据存放方式时的重要考量。

1任务1．背景利用所学框架完成以下系统：我公司需要对所有固定资产（包括电脑、桌椅、书籍等办公设备）分门别类进行登记管理。系统涉及角色包括:系统管理员，固定资产管理员，办公室主任，普通员工，中层管理人员，高层管理人员。2．功能系统完成功能包括固定资产清单管理（可以按公司、部门、个人查看），固定资产出借管理（可以按公司、部门、个人查看），3．规则固定资产净值管理（固定资产分5年分摊，每年递减最初的20%），资产额度大于10000的出借需要办公室主任批准，其他出借只需资产管理员登记即可。普通员工借用数量不能大于5件，中层管理人员不能大于10件，高层管理人员无限制。此处件数为累积数量2使用框架和环境工具：eclipse3.2 + jdk1.5+Maven2.0+jetty-5.1+Mysql5.0框架：freemaker+webwork+spring+ibatis3。

此文档从构架方面对系统进行综合概述，其中使用了大量不同的构架视图来描述系统的各个不同方面。 它用于记录并表述已在构架方面对系统作出的重要决策。 同时此文档也是在此项目后续具体实施时，各个系统功能模块的设计和开发的基础依据。

\高性能网站每秒能处理成千上万个请求，关键是Scalability良好的可伸缩性Caching无处不在的缓存Scalability是系统适应不断增长用户数量的能力性能平稳负载均衡、容错接入保护、Cache缓冲扩容容易所有组件都应当可以简单扩展无共享架构可控状态VerticalScaling更大的服务器更快的CPU扩展性/价格比很差超级计算机都是平行扩展的！可伸缩性vs.高性能在系统可扩展的前提下提高性能Web的可扩展性Web服务器负载均衡南北互通Web服务器Web服务器的选择Apache不适合静态文件的支持内存、CPU占用比较大非常成熟，功能强大，配置丰富TWS架构中心自主开发对CGI的支持比较独特CGI性能非常好Qhttpd公司内部软件只适合静态文件的支持非常稳定可靠Lighttpd、Nginx内存、CPU开销小静态文件性能胜出很多越来越多的网站开始用它性能改进动态、静态内容分开静态文件：qhttpd/lighttpd/nginx动态内容：Apache某些静态文件压缩传输：lighttpd的mod_compress动态内容性能。

一些小型的网站，用简单的html静态页面就可以实现，再配合一些图片达到美化效果。网站所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单。随着公司的成长，业务的不断拓展，功能日益丰富，用户量不断增加，数据爆炸式的增长，那种集中单一的系统架构越来越不适应发展需要。例如，我们日常使用的网上电子交易网站淘宝，每天7亿次的页面访问，其中搜索宝贝过亿次，浏览宝贝过亿次，超过40亿次的用户访问，超过6亿次的交易访问，超过6亿次的宝贝访问，超过400万笔有效交易。高峰期，每秒超过25G的流量，核心业务每秒超过4.5G的流量，每秒生成几百笔交易，8万次的用户访问，1.5万次的商品访问。淘宝总共超过22TB的宝贝图片存储，超过4亿条的在线交易记录，超过2亿的在线宝贝。

基于宽表的自助取数网络系统设计摘要：电信运营商在日益激烈的市场竞争中，对营销IT支撑系统的依赖程度越来越高。营业人员在营销活动中，如何及时地获取针对不同客户的营销数据，成为直接影响营销效果的关键因素之一。在分析营销人员个性化实时取数需求的基础上，构建一种基于不同分析主题宽表的自助取数网络系统，方便营销人员通过简单的界面操作实现快捷、实时的自助取数功能。

今天我通过讲解微博里面的一些架构，分析一下架构里面哪些共性大家可以参考。首先给大家介绍一下微博架构发展的历程。新浪微博在短短一年时间内从零发展到五千万用户，我们的基层架构也发展了几个版本。第一版就是是非常快的，我们可以非常快的实现我们的模块。我们看一下技术特点，微博这个产品从架构上来分析，它需要解决的是发表和订阅的问题。我们第一版采用的是推的消息模式，假如说我们一个明星用户他有10万个粉丝，那就是说用户发表一条微博的时候，我们把这个微博消息攒成10万份，这样就是很简单了，第一版的架构实际上就是这两行字。第一版本的技术细节，典型的LAMP架构（LAMP：Linux-Apache-MySQL-PHP），是使用Myisam搜索引擎，它的优点就是速度非常快。另外一个是MPSS，就是多个端口可以布置在服务器上。为什么使用MPSS？假如说我们做一个互联网应用，这个应用里面有三个单元，我们可以由三种部署方式。我们可以把三个单元部署在三台服务器上，另外一种部署模式就是这三个单元部署在每个服务器上都有。这个解决了两个问题，一个是负载均衡，因为每一个单元都有多个结点处理，另外一个是可以防止单点故障。

软件工程导论第一章本章要点工程的概念软件工程的发展软件工程分析三种过程模型工程化思考工程是什么？工程简而言之就是多人参与并有计划、有步骤地完成一项任务的活动工程强调目的计划步骤软件发展与软件工程起源软件的发展四个阶段：1950年前后到1960年前后，程序设计阶段；1960年前后到1970年前后，软件系统阶段；1970年前后到1980年前后互联网络兴起，软件工程阶段；1980年前后到现在，分布式软件工程阶段；1968年，北大西洋公约组织的计算机科学家召开国际会议，第一次提出软件危机的概念，产生了应对软件危机的对策---软件工程。软件工程与建筑工程的对比预算画设计图施工质检可行性分析需求分析详细设计、概要设计编码测试兴建一座高楼创造一部软件产品销售、入住使用销售、安装使用工程策略任何工程都有如下的策略：分而治之复用折衷优化检验并保证质量软件工程也会充分利用这些策略分而治之把复杂的问题分解为小的问题并一一解决分而治之图示复杂问题子问题

本文档全面与系统地表述目标软件系统的构架，并通过使用多种视图来从不同角度描述系统的各个主要方面，以满足相关涉众（客户、设计人员等）对目标系统的不同关注焦点。<br> 本文档记录并表述了架构师对系统构架方面做出的重要决策；项目经理将根据构架定义的构件结构制定项目的开发计划；设计员将据此进行各构件的详细设计；测试设计员按照构架设计系统的总体测试框架；另外构架文档还用于指导各构件的实施、集成及测试。

做互联网应用的兄弟应该都清楚，缓存对于一个互联网应用是多么的重要，从浏览器缓存，反向代理缓存，页面缓存，局部页面缓存，对象缓存等等都是缓存应用的场 景。 一般来说缓存根据与应用程序的远近程度不同可以分为：local cache 和 remote cache。 一般系统中要么采用local cache，要么采用remote cache,两者混合使用的话对 于local cache和remote cache的数据一致性处理会变 大比较麻烦.

随着面向服务的架构SOA的兴起，银行核心系统开始了新一轮的“瘦身”运动，将原来核心系统承载的庞大功能逐步分离出来，在业务层面简化核心系统的功能，提高处理性能和效率，对核心系统与其他应用系统之间的业务流程进行重新设计，按照更加开放、灵活和松耦合的原则合理布局银行的各类应用系统。

性能优化不是仅局限于后台----Qzone性能优化报告QQ空间产品中心QwangQzone优化概述存储优化日志重构访问优化接入层逻辑层表现层日志重构前问题分析数据量增长过快总数据量9T日增长量约20G扩容需进行大量数据搬迁Cache命中率低（50%），DB压力大旧系统结构模块日志回复日志标题日志计数优点CACHE内存化，提升性能多进程号段分布处理业务异步化缺点CACHE量有限，命中率低，对DB的性能依赖比较重模块相互独立，容易造成数据不一致Qzone数据层优化（日志重构）与产品经理的Trade-off区分近期日志与往期日志区分活跃数据、非活跃数据和历史归档数据二级缓存（内存+文件）针对单个号码进行路由新系统结构系统分三个模块：日志信息、日志标题、访问计数CGI层对日志标题、访问计数模块有读/写权限；对日志标题模块只有读权限，其数据来源于日志信息模块日志信息模块结构日志重构后的特点将数据区分为活跃数据、不活跃数据和历史归档数据

腾讯大讲堂09-如何建设高性能网站

可扩展Web架构探讨echouzhou高性能网站每秒能处理成千上万个请求，关键是Scalability良好的可伸缩性Caching无处不在的缓存Scalability是系统适应不断增长用户数量的能力性能平稳负载均衡、容错接入保护、Cache缓冲扩容容易所有组件都应当可以简单扩展无共享架构可控状态VerticalScaling更大的服务器更快的CPU扩展性/价格比很差超级计算机都是平行扩展的！可伸缩性vs.高性能在系统可扩展的前提下提高性能Web的可扩展性Web服务器负载均衡南北互通Web服务器Web服务器的选择Apache不适合静态文件的支持内存、CPU占用比较大非常成熟，功能强大，配置丰富TWS架构中心自主开发对CGI的支持比较独特CGI性能非常好Qhttpd公司内部软件只适合静态文件的支持非常稳定可靠Lighttpd、Nginx内存、CPU开销小静态文件性能胜出很多越来越多的网站开始用它性能改进动态.

目录QQMAIL总体架构服务器性能优化网络性能优化代码框架优化QQMAIL总体架构（简图）QQ MAIL总体架构Web：支持95%的登录请求。提供读信、写信、用户信息管理等功能。BG：邮件队列，负责将本域用户发出的邮件投递到目标地址。MX（MaileXchange）：接收外域邮件运营商发往本域的邮件。POP/SMTP：提供基于MailClient的服务。QS：向QQClient提供新邮件Notify服务。Account：存储邮箱名/UIN映射关系。