DirectKafkaInputDStream 只在 driver 端接收数据，所以继承了 InputDStream，是没有 receivers 的在结合 Spark Streaming 及 K...

本文是2015年肖飞在内部分享的《高性能高并发系统的稳定性保障》PPT内容。 性能、并发、稳定性三者关系 高性能：高吞吐量、低延时 公式：吞吐量（并发）=单位时间/平均延时 N-th% Late...

又到了年终岁尾时，业界权威市场研究和咨询机构Ovum公司日前估计，大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长，企业的挑战正在转变，对人们的技能需求正在改...

Spark revolves around the concept of a resilient distributed dataset (RDD), which is an immutable...

2016年Q3季度初，在美团外卖上单2.0项目上线后，商家和商品数量急速增长，预估商品库的容量和写峰值QPS会很快遇到巨大压力。随之而来也会影响线上服务的查询性能、DB（数据库，以下统一称DB）...

搭建Spark源码研读和代码调试的开发环境

这篇文章要说道说道如何诊断HBase写数据的异常问题以及优化写性能。

推荐引擎在当前电商平台用的相当多，本文简单理解下常见的几张推荐方式。首先说明下大数据用户画像可以用于针对性营销和单品推荐，但是即使没做用户画像也可以进行商品推荐。

工业和研究中数据的大幅增长为计算机科学带来了巨大的机会与挑战。由于数据大小超过了单台机器的能力，用户需要新的系统将计算扩展到多个节点。因此，针对不同计算工作负载的新集群编程模型已呈爆炸式增长。

早期我们和很多公司一样使用的是zabbix监控， 应该说zabbix的功能还是蛮强大的。但是随着公司的业务发展，我们很快发现有很多问题zabbix很难解决。

Corda is a decentralised database system in which nodes trust each other as little as possible.

用户行为路径分析是互联网行业特有的一类数据分析方法，它主要根据每位用户在App或网站中的点击行为日志，分析用户在App或网站中各个模块的流转规律与特点，挖掘用户的访问或点击模式，进而实现一些特定...

本篇文章中我们将学习如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts构建实时分析Dashboard。

当前， RESTful API 可能已经在你所在的组织中达到了某种 程度的 成功。当越来越多的微服务或API涌现出来时，API间的依赖也随之增长，对服务的要求也更多的落在了提供尽可能稳定的API...

Google 使用的技术一般都自带光环，吸引程序员的注意，基础设施方面的东西就更是如此，年初 Google 发布了篇论文介绍内部的负载均衡器的实现，让我们有机会一睹可能是全球最好的负载均衡器。

如今微服务架构讨论的如火如荼。但在企业架构里除了大量的OLTP交易外，还存在海量的批处理交易。在诸如银行的金融机构中，每天有3-4万笔的批处理作业需要处理。针对OLTP，业界有大量的开源框架、优...

目前，数智大数据处理套件TBDS3.0正式版已经对外发布，数智大数据工坊也在邀测中，可见数智的产品矩阵与能力已经十分完善。同时，腾讯云大数据中的方略产品线，也已经上线了多款产品，包括用户洞察分析...

Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery...

现在，许多人都会与来自不同地方的人一起工作。当和你一起合作工作的人不在同一个办公室里时，就会出现各种状况。我一直在研究这些状况，我研究它们的时间超过了十年。在大多数情况下，它可以被归结为我们所面对的五大问题。

市场上很多玩家已经建造了MapReduce工作流用来日常处理兆兆字节的历史数据。但是谁愿意等待24小时来拿到更新后的分析报告？这篇文章会向你介绍 Lambda Architecture ，它被设...