数据库的故事数据库的发展1在数据库技术诞生之前，数据主要是以File形式存储的，数据的管理也是由具体的应用自身来完成的，所以这个时期的数据管理和应用逻辑是混在一起的。240年前第一代数据库技术的诞生，才实现了数据管理与应用逻辑的分离，采用层次结构来描述数据，我们称之为层次型数据库(IMS)。至于我们常说RDBMS，其实是第二代数据库技术，上世纪70年代，来自IBM的E.FCodd博士提出的关系型理论以及SQL语言的发明。实现了数据建模和数据操作处理的标准化，关系型数据库在其后的20多年的时间取得了长足的发展，得到了广泛的应用，数据相关的所有理论问题似乎都已经解决。

mongodb的Java驱动API。

新建三个节点目录，用于存节点数据及日志，内网两台实体机，三个mongodb进程，硬盘或机器宕掉，可以真正做到自动切换，自动故障恢复等管理操作。

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。

　Redis 是支持多key-value数据库(表)的,并用 RedisDb 来表示一个key-value数据库(表). redisServer 中有一个 redisDb *db; 成员变量, RedisServer 在初始化时,会根据配置文件的 db 数量来创建一个 redisDb 数组. 客户端在连接后,通过 SELECT 指令来选择一个 reidsDb,如果不指定,则缺省是redisDb数组的第1个(即下标是 0 ) redisDb. 一个客户端在选择 redisDb 后,其后续操作都是在此 redisDb 上进行的. 下面会详细介绍一下 redisDb 的内存结构.

FastDHT是一个基于键值对（Key Value Pair）的高效的分布式Hash系统，她可以用来存储大量的Key Value Pair，比如可以用来存储文件名映射表、session数据、用户相关数据等等。 FastDHT服务器端底层存储采用Berkeley DB，支持大数据量；网络IO采用libevent，支持大并发连接。FastDHT只用到了BDB最基本的存储功能，数据同步是自己实现的，采用了binlog的复制方式。

非关系型数据库（NoSQL）是一个和之前的关系型数据库（RDBM）有很大不同的另一类数据结构化存储管理系统。非关系型数据库通常没有固定的表结构，并且避免使用join操作。非关系型数据库严格上不是一种数据库，应该是一种数据结构化存储方法的集合。

知不觉房产系统已经使用MongoDB一年多了，记得一年多以前，正是NOSQL被热炒时，MongoDB更是作为NOSQL中的佼佼者，被炒得火烫，也应该就在当时被这股火烫着了，所以义无反顾的选择了MongoDB，现在想想当时确实有些冲动了，当时MongoDB的资料还是比较少，更别说中文资料了，后来还出现使用MongoDB成功应用的范例Foursquare的宕机事件。现在确实应该很感谢MongoDB为我们的系统服务了一年了，在这一年的时间里，确实出现过不少的小问题，特别是在管理操作上，这大概也是因为MongoDB在系统维护上不如Mysql那样有着各种的业界实践，往往就只能通过管理员自己去摸索。

MongoDB之架构部署(Replica Sets+Sharding)

第一章：MongoDB简介及安装<br> 第二章：MongoDB与关系型数据库语法的对比及使用<br> 第三章：MongoDB集群(Replica Set+Sharding)以及经验分享<br> 第四章：MongoDB监控工具及备份策略<br> NoSQL(NoSQL = Not Only SQL )，意即反SQL运动，是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于目前铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。

Agenda基础知识数据模型数据分布策略存储机制数据读写删面向未来NoSql背景随着互联网大规模的Web2．0应用的兴起，随着云计算需要的大规模分布式服务和分布式存储的发展，传统的关系数据库面临着诸多全新的挑战，特别是在那些超大规模和高并发的SNS类型的应用场景下，使用关系数据库来存储和查询用户动态数据已经显得力不从心，暴露了很多难以克服的问题，例如需要很高的实时插入性能；需要海量的数据存储能力同时还需要非常快的查询检索速度；需要将数据存储无缝扩展到整个群集环境下，并且能够在线扩展等等。

大数据时代；关系数据库的瓶颈；NoSQL的优势；CAP理论；NoSQL数据模型及分类；NoSQL应用现状。重点介绍几个NoSQL主要内容随着网民参与互联网产品和应用的程度越来越深，互联网将更加智能，互联网的数据量也将呈爆炸式增长一、大数据时代大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等大交互数据：来自社交网络的数据，SNS、微博等两类数据的有效融合将是大势所趋，这种融合更能增强企业的商业洞察力一、大数据时代大数据的特征3V——Volume（海量）、Variety（多样）、Velocity（实时）海量 - 数据量巨大，对TB、PB数据级的处理，已经成为基本配置。

轻量级的高性能消息队列服务,生产者消费者 跨机器的共享内存 Redis的主要缺点是数据库容量受到物理内存的限制，不能用作海量数据的高性能读写，并且它没有原生的可扩展机制，不具有scale（可扩展）能力，要依赖客户端来实现分布式读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。

Redis 是一种面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。它起步较晚，发展迅速，目前已被许多大型机构采用。<br> 你也许已经知道Redis并不是简单的key-value存储，实际上他是一个数据结构服务器，支持不同类型的值。也就是说，你不必仅仅把字符串当作键所指向的值。下列这些数据类型都可作为值类型。

基于MongoDB的大规模高频金融交易数据处理

NoSQL 应用视角扩展性，可用性与可靠性的抉择

当前架构为单shard+replica Set模式，双服务器为双Shard+Replica Set模式。同一个Shard中的primary和Secondary存储内容一致。而双Shard则是两个Shard分布式存储不同数据，备份由shard内部进行。 双服务器中的两个Shard各含一个primary ，一个secondary，和一个arbiter（arbiter的唯一作用是在primary 宕机后选举新的primary时拥有投票权，用以使存活节点数大于50%，不包括50%，否则系统将整个down掉，以及在票数相同的情况下用以打破选举的平衡，并不存储和读取数据）。

NoSQL数据库，顾名思义就是打破了传统关系型数据库的范式约束。很多NoSQL数据库从数据存储的角度看也不是关系型数据库，而是key-value数据格式的hash数据库。由于放弃了关系数据库强大的SQL查询语言和事务一致性以及范式约束，NoSQL数据库在很大程度上解决了传统关系型数据库面临的诸多挑战。 在社区中，NoSQL是指“not only sql”，其特点是非关系型，分布式，开源，可水平扩展，模式自由，支持replication，简单的API，最终一致性（相对于即时一致性，最终一致性允许有一个“不一致性窗口”，但能保证最终的客户都能看到最新的值）。

mongoDB部署 集群包含一个或者多个shard shard存储数据集合的一部分数据 shard为replica set集群 一个replica set由一个primary和多个secondary和arbiter(可选）组成 如果primary失效，自动选举一个secondary为primary 写入请求只能在primary上做单点写入维持数据一致性 读取请求会发送给primary，最终的读取操作分布在多个secondary上 数据读取和写入请求自动路由到集群的shard 集群包含多个配置服务器 数据分区信息（哪些数据存放在哪些shard上） 集群中包含多个请求路由器 Mongos，接收数据写入读取请求，并将请求路由到目标shard上 一个路由器可以服务多个客户端app App通过程序扩展接口连接mongos

.NET 客户端连接Redis 介绍