数据管道服务工具:Suro
jopen
10年前
Netflix 开源了一个叫做Suro的工具,它能够在数据被发送到不同的数据平台(如Hadoop、Elasticsearch)之前,收集不同应用服务器上的事件数据,这项创新技术具备成为大数据主流实践的潜力
Suro 是数据管道服务,用来收集,聚合和调度大数据应用事件,包括日志记录数据。
特性:
-
分布式,支持横向扩展
-
支持流媒体数据流,大量连接和高吞吐量
-
根据领过的调度guize允许动态调度时间到不同的位置
-
包括一个简单而灵活的架构,允许用户添加额外的数据目的地
-
适用于 NetflixOSS 生态系统
-
是最优的数据管道,支持灵活的重试和转发,把数据丢失减到最小