系统架构概述Yes,WeKAO更强，更高，更持久了解什么是架构了解Alibaba网站架构的历史掌握Alibaba网站架构的现状掌握网站架构设计的理念课程目标和内容架构规定了软件的高层划分及各部分间的交互架构不是软件，但架构决策体现于软件平台和框架之中架构的优劣决定了业务应用系统的实施能力和发展空间技术搭台，业务唱戏架构搭台，应用唱戏架构永远在随着业务的发展而变迁–拥抱变化！什么是架构？B2B架构演化过程1999史前2001石器时代2002中世纪2005工业革命未来星际时代？ Mysql Apache服务器在美国，56KModem，远程开发、测试、部署1999-史前时代Java服务器使用线程性能比cgi技术使用进程好Java相比Perl，可维护性好，开发效率高Java开始在国内流行史前-石器时代原因开始使用Java模板技术采用WebMacro中间层采用Servlet技术，使用POJO封装业务逻辑和数据访问使用BizObj对象封装基本业务逻辑和数据访问方法其它业务对象继承BizObj方法

Thanks for coming – today will talk about Docker based Hadoop provisioning. Quick introduction of who we are - Young startup, from Budapest, Hungary. Janos Matyas – CTO, open source contributor, Hadoop YARN evangelist. Ease Hadoop provisioning – everywhere Automate and unify the process Arbitrary cluster size Same process through a cluster lifecycle (Dev, QA, UAT, Prod) (Auto) scaling Hadoop

主要内容一、Docker介绍及原理二、Docker基本操作三、Docker实践案例什么是Docker?Docker的生态圈认识Docker Docker VS VM Docker的原理Docker文件系统Docker三大核心Docker操作-仓库Docker操作-镜像Docker操作-容器Docker操作-DockerfileDocker操作-API待解决的问题案例架构说明容器配置存储-etcd配置管理代理-confd与容器联动第一部分Docker介绍及原理什么是Docker?Docker是一个构建在LXC之上，基于进程容器的轻量级VM解决方案，实现了一种应用程序级别的资源隔离及配额。Docker起源于PaaS提供商dotCloud基于go语言开发

Apache Kylin（麒麟）是由eBay 研发并贡献给开源社区的Hadoop上的分布式大规模联机分析（OLAP）平台。该平台为Hadoop之上的数据分析提供了标准SQL接口及多维分析能力，在百亿数量级别上提供秒级甚至亚秒级的查询性能。该项目于2014年10月开源，并于当年11月加入Apache 孵化器项目。

ApacheShiro是功能强大并且容易集成的开源权限框架，它能够完成认证、授权、加密、会话管理等功能。认证和授权为权限控制的核心，简单来说，认证就是证明你是谁？Web应用程序一般做法通过表单提交用户名...  ApacheShiro是功能强大并且容易集成的开源权限框架，它能够完成认证、授权、加密、会话管理等功能。认证和授权为权限控制的核心，简单来说，“认证”就是证明你是谁？Web应用程序一般做法通过表单提交用户名及密码达到认证目的

准备篇：1、配置防火墙，开启80端口、3306端口vi/etc/sysconfig/iptables-AINPUT-mstate--stateNEW-mtcp-ptcp--dport80-jACCEPT #允许80端口通过防火墙-AINPUT-mstate--stateNEW-mtcp-ptcp--dport3306-jACCEPT #允许3306端口通过防火墙备注：很多网友把这两条规则添加到防火墙配置的最后一行，导致防火墙启动失败，正确的应该是添加到默认的22端口这条规则

Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由 Facebook开发，用于储存特别大的数据。 Cassandra不是一个数据库，它是一个混合型的非关系的数据库，类似于Google的BigTable。本文主要从以下五个方面来介绍 Cassandra： 1.Cassandra 的数据模型 2.安装和配制 Cassandra 3.常用编程语言使用Cassandra来存储数据 4.Cassandra 集群搭建 。Cassandra的数据存储结构Cassandra的数据模型是基于列族（ColumnFamily）的四维或五维模型。它借鉴了Amazon的Dynamo和Google'sBigTable的数据结构和功能特点，采用Memtable和SSTable的方式进行存储。在Cassandra写入数据之前，需要先记录日志(CommitLog)，然后数据开始写入到ColumnFamily对应的Memtable中，Memtable是一种按照key排序数据的内存结构，在满足一定条件时，再把Memtable的数据批量的刷新到磁盘上，存储为SSTable。

Introduction Quick Introduction to Spark Set up development environment and create the hello world application Notebook Walk-through Spark Streaming Deep dive: Sentiment analysis with Twitter and Watson Tone Analyzer Architectural Overview Set up the Bluemix services: Watson Tone Analyzer, Message Hub and Event Hub Create the Streaming Receiver to connect to Kafka (Scala) Create analytics using Jupyter Notebook (Python) Create Real-time Web Dashboard (Nodejs)

Linux操作系统实用教程第1章Linux基础1.1Linux简介1.2利用VMWare虚拟机搭建学习环境第1章Linux基础本章概述与目前流行的Windows相比，Linux是一个免费开放源代码的操作系统，其支持多用户多任务等优秀特点，吸引了一大批从事Linux研究和应用的爱好者，本章主要向初学者介绍什么是Linux，Linux的特点和优势，Linux的版本以及学习环境的搭建，以便初学者能够从总体上了解Linux操作系统，并且搭建自己学习Linux的环境。第1章Linux基础1.1Linux简介Linux是免费的、不受版权制约、与UNIX兼容的操作系统。由芬兰人LinusTorvalds于1991年开发出来，目前由来自世界各地的爱好者进行开发和维护。Linux自从诞生以来，凭借其稳定、安全、高性能和高扩展性等优点，得到了广大用户的欢迎。

Storm及交通实时数据处理报告人：汪杰宇绪论知识Storm架构一个简单的Storm例子Storm在交通数据处理中的应用目录背景：大数据的产生GBTBPBEBZB数据量的增长：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。有市场研究机构预测（2009年）：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1GB=2^30字节1TB=2^40字节1PB=2^50字节1EB=2^60字节1ZB=2^70字节背景：大数据处理模式主要的处理模式可以分为流处理（streamprocessing）和批处理（batchprocessing）两种。批处理是先存储后处理（store-process），而流处理则是直接处理（straight-throughprocess）。（有时也分为在线、离线、近线三种）

状态收集增加页面缓存状态收集增加页面片段缓存状态收集数据缓存状态收集增加webserver状态收集服务调度分库状态收集服务调度分表、DAL和分布式缓存状态收集服务调度增加更多的webserver状态收集数据读写分离和廉价存储方案状态收集大型分布式应用和廉价服务器群状态收集服务调度实现框架Zookeeper服务集群管理ThriftRPC实现服务模块Nagios数据采集监控ZooKeeper Zookeeper从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群管理。

总目录第1部分Linux操作系统第1章操作系统概述第2章处理机管理第3章存储管理第4章调度第5章设备第6章文件系统第2部分操作系统命令及shell编程第7章Linux基本命令第8章使用vi编辑文件第9章shell编程第3部分系统管理第10章Linux系统软件的获取和安装第11章账号管理第12章文件系统管理第13章TCP/IP网络管理第14章备份与恢复第15章XWindow及Genie应用程序第1部分Linux操作系统第1章操作系统概述1.1操作系统简介1.2操作系统接口1.3操作系统功能1.4操作系统结构1.5Linux操作系统介绍1.6Linux的内核特征1.7Linux的发展及展望1.8小结习题操作系统是计算机系统的基本系统软件。软件系统中操作系统是所有软件的核心。操作系统负责控制、管理计算机的所有软件、硬件资源，是惟一直接和硬件系统打交道的软件，是整个软件系统的基础部分，同时还为计算机用户提供良好的界面。

Part1：IT部署视图演化及挑战Part2：动态基础设施Part3：SaaS架构关注技术Part4：Q&AIT系统部署视图演化-1N轮视图演化后架构演化面对的挑战Part1：IT部署视图演化及挑战Part2：动态基础设施Part3：SaaS架构关注技术Part4：Q&A云计算关键特性基础设施供应生命周期资源池动态伸缩CloudCloudDDDDDDDDDPart1：IT部署视图演化及挑战Part2：动态基础设施Part3：SaaS关注技术Part4：Q&ASaaS关键特性高伸缩：多租户，功能可配置，流程可配置SaaS架构关注内容数据存储的挑战传统解决方案VS新兴解决方案SQL集群技术-MySQL集群方案有点缺点速度适用场合NDB可用于负载均衡场合；可用于高可靠性场合；高伸缩性；真正的数据库冗余；容易维护。随着数据库的变大，对RAM的需求变得更大，因此成本很高几乎比典型的单独服务器（无千兆以太网，无SCI卡，存储引擎相关的限制少）慢10倍。

2012-01-04目标在同一机器上，使用apache和tomcat配置一个可以高可用的web网站，将6个Tomcat：tomcat_8801,tomcat_8802,tomcat_8803,tomcat_8804,tomcat_8805,tomcat_8806配置成三组互相复制Session的群组:比如Tomcat_8801和Tomcat_8802互相同步Session,比如Tomcat_8803和Tomcat_8804互相同步Session,比如Tomcat_8805和Tomcat_8806互相同步Session.网站最终部署结构图，将如下图所示：需达到以下要求：Apache做HttpServer，后面连接多组tomcatCluster实例，并进行负载均衡;

Apache 安装图解

Apache+Tomcat集群配置本文Apache+Tomcat集群配置基于最新的Apache和Tomcat，具体是2011年4月20日最新的Tomcat和Apache集群和负载均衡配置。准备环境ApacheApache是http服务器，我们利用其对Tomcat进行负载均衡。

Apache HTTP Server（简称Apache）是Apache软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全性[1]被广泛使用，是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩展，将Perl/Python等解释器编译到服务器中。 Apache 起初由伊利诺伊大学香槟分校的国家超级电脑应用中心（NCSA）开发。此后，Apache 被开放源代码团体的成员不断的发展和加强。Apache 服务器拥有牢靠可信的美誉，已用在超过半数的因特网站中－特别是几乎所有最热门和访问量最大的网站。

我们程序员最烦两件事：1，写代码的时候还要写文档，太tm麻烦！2，接手别人的代码，tn的居然没有文档！借用童心童老大微信里的一句话自己不爱写文档抱怨别人没文档平等对待自己和别人，养成写作总结的习惯文档不只是代码1，打电话的时候变小！2，看视频、玩游戏、看书时变大！奇酷手机发布小机机15%打电话、小手机85%大屏才过瘾空空才能做到只有孙悟空和cj空能做到目录积分系统介绍1设计2开发3工具4积分、等级、荣誉、云币商城对用户进行激励就是为了让用户更多的使用其产品或者服务，这样才能实现产品的价值。而积分体系就是比较常用的一种对用户的激励方式。

Apache监控与调整总结监控关注点配置监控/opt/IBMIHS/conf/httpd.confStartServers:控制进程在最初建立MinSpareServers:最少空闲的进程MaxSpareServers：最大空闲的进程ServerLimit2000：最大进程数MaxClients1000：设定的是Apache可以同时处理的请求MaxRequestsPerChild：设置的是每个子进程可处理的请求数/opt/IBMIHS/logsaccess_log常用监控工具

消息系统、协议与技术消息系统及其结构STOMP/JMS/AMQP/MQTTEIP与SEDA常见开源消息中间件ZeroMQ Fqueue ActiveMQ与ApolloKafka与MetaQ RabbitMQ MQ选型与未来发展展望消息系统、协议与技术Messaging耦合->松耦合同步->异步化直接请求->缓冲压力A系统B系统OnewayA系统B系统RequestResponseA系统B系统sendA系统B系统