气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十TB到...

随着计算机的日益普及，各种应用每天产生的数据量呈指数级增长。如何存储这些数据，有效处理分析这些数据,并从中提取有价值的信息,是当下迫切需要解决的问题。在过去的十年里，NoSQL在软件工程师阵营里...

本篇主要是就系统从开发到最终部署运维过程中常用的技术、框架和方法做了一个总结，当然以上经验总结来源于本人从业以来所经历的项目中的经验和教训，可能还有更好更完美的方案，在此权当抛砖引玉。

当今IT开发人员面对的最大挑战就是复杂性，硬件越来越复杂，OS越来越复杂，编程语言和API越来越复杂，我们构建的应用也越来越复杂。根据外媒的一项调查报告，中软卓越专家列出了Java程序员在过去1...

什么我们要去构建一个自己的PHP框架？可能绝大多数的人都会说“市面上已经那么多的框架了，还造什么轮子？”。我的观点“造轮子不是目的，造轮子的过程中汲取到知识才是目的”。

系统设计入门 目的 学习如何设计大型系统。 为系统设计的面试做准备。 学习如何设计大型系统 学习如何设计可扩展的系统将会有助于你成为一个更好的工程师。 系统设计是一个很宽泛的话题。在互联网上， ...

本篇文章已经在 IEEE Software 杂志上首发。 IEEE Software 就今天的战略性技术问题提供了可靠的、经专家评审过的信息。IT管理者和技术领导应依靠新先进解决方案的IT专业人...

大家都相信Urban Airship在手机上会有非常多的商业机会。Urban Ship是一家已有七年历史的老SaaS公司，她也提供了免费增值商业模式，所以你可以试试免费体验一下。现在每天Urba...

爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开...

NoSQL数据库提供了非常完美的体验：一个安装包，启动数据库，使用JSON API进行数据读写操作。此外，NoSQL支持快速迭代。

互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程...

NoSQL，泛指非关系型的数据库，全称Not Only SQL，意即“不仅仅是SQL”。

互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程...

【编者按】关注 NoSQL 的动态发展很重要。NoSQL 的好处并不仅限于新的应用开发。在某些案例中，你可以见识到重新访问现有的、传统的框架带来的积极效果，比如说你的 JPA 的实现。本文系国内...

关注 NoSQL 的动态发展很重要。NoSQL 的好处并不仅限于新的应用开发。在某些案例中，你可以见识到重新访问现有的、传统的框架带来的积极效果，比如说你的 JPA 的实现。本文系国内ITOM ...

分布式存储系统除了要保证客户端写请求流程的正确性，节点可能会非正常宕机或者需要重启，在启动的时候必须要能够正常地加载/恢复已有的数据，日志管理类在创建的时候要加载已有的所有日志文件，这和创建Lo...

MySQL还是PostgreSQL? 1、如果你的应用对数据的完整性和严肃性要求不高，但是追求处理的高速度。例如论坛和社区，你应该使用MySQL。 2、如果你的应用是一个严肃的商业应用，对数...

动态网页是下一个要解决的难题。我们从数据库中读取数据，再用动态去渲染出一个静态页面，并且缓存服务器来缓存这个页面。既然我们都可以用Varnish、Squid这样的软件来缓存页面——表明它们可以是...

Big Data非常复杂，涉及到的技术繁多。我们常“耳闻”的技术，如果MapReduce, Hadoop等处于哪一层次，下图会给你一个整体印象。

所谓实时流计算就是近几年由于数据得到广泛应用之后，数据持久性建模不满足现状下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用的实例有金融服务、网络监控、电信数据管理、Web应用、生产制造、...