少量数据的实时处理可以使用JMS（Java Messaging Service）这类技术，但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。

针对这段时间所学的做了一个简单的综合应用，应用的场景为统计一段时间内各个小区的网络信号覆盖率，计算公式如下所示：

源文件放在github，随着理解的深入，不断更新，如有谬误之处，欢迎指正。 原文链接https://github.com/jacksu/utils4s/blob/master/spark-kno...

1、zookeeper客户端相关命令 在确保zookeeper服务启动状态下，通过 bin/zkCli.sh -server 127.0.0.1:2181 该命令来连接客户端 简单操...

Kafka提供了非常多有用的工具，如 Kafka设计解析（三）- Kafka High Availability （下） 中提到的运维类工具——Partition Reassign Tool，P...

现在我们构建Kafka消息订阅发布系统。Kafka支持多种集群方式，例如：

在开始开发producer和consumer之前，先从设计的角度看一看Kafka。

在当前的大数据时代，第一个挑战是海量数据的收集，另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路...

前段时间写的《Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析》得到了许多同学的认可，在认可的同时，也有同学提出可以使用Kafka来集中管理日志，于是今天就来学习一下。 ...

在之前的博客中，介绍了Kafka Web Console这 个监控工具，在生产环境中使用，运行一段时间后，发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接，从而导致网络阻塞...

问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态...

之前转的文章《Kafka架构和原理深度剖析》中介绍了Kafka的原理，本文记录一下其安装配置和测试的过程。

kafka 应用场景 日志收集 消息系统 解耦生产者和消费者、缓存消息。 用户活动跟踪: 就是我们在做的。 运营指标：生产各种操作的集中反馈。 流式处理：比如...

Sidekick 是数字营销公司 HubSpot 的一款产品，用于在接收者打开邮件时实时通知发送者。创建和发送通知的基础设施以 Kafka 为基础创建。 Ze'ev Klapow 是 Side...

在LinkedIn的数据基础设施中，Kafka是核心支柱之一。来自LinkedIn的工程师曾经就Kafka写过一系列的专题文章，包括它的 现状和未来 、 如何规模化运行 、 如何适应Linked...

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日...

经过前面Kafka实战系列的学习，我们通过学习《Kafka实战－入门》了解Kafka的应用场景和基本原理，《 Kafka实战－Kafka Cluster 》一文给大家分享了Kafka集群的搭建部...

前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。

Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作...

在《Kafka实战－简单示例》一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整 合一个完整的项目，本篇博客我打算为大家介绍Flu...