推ter宣布开放实时计算系统Storm源代码
fmms 13年前
推ter 在 Strange Loop 大会上公布分布式实时计算系统 Storm 的源代码,可以用于各种编程语言,弥补了 Hadoop 实时性的缺失,意义重大。 <p> 据了解,Storm 代码来自于 推ter 上月收购的 BackType,后来被 推ter 收购用于 推ter。业内普遍认为这是 推ter 为方便用户解析数据所作出的努力。推ter 首席工程师 <a href="/misc/goto?guid=4958190934255623972" target="_blank">Nathan Marz</a>在博客上表示:“这是一件非常重大的事情,至少对使用大量数据的极客来说是如此,因为相比大多数企业,推ter 要处理更多的实时数据。”除此之外,Nathan Marz 还指出 Storm 在业内有着相当广阔的使用前景,比如流处理、持续演算及远程处理命令等。</p> <p> 现在,Storm 的发展势头相当强劲,推ter 开发的相应工具已使其功能变得更加强大。Storm 类似于另一个开源数据操作平台 Hadoop,Storm 也可能成为一项重要业务。</p> <p> <strong>推ter 列举了 Storm 的三大类应用: </strong></p> <p> 1. 信息流处理(Stream processing)</p> <p> Storm 可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。</p> <p> 2. 连续计算(Continuous computation)</p> <p> Storm 可进行连续查询并把结果即时反馈给客户端。比如把 推ter 上的热门话题发送到浏览器中。</p> <p> 3. 分布式远程程序调用(Distributed RPC)</p> <p> Storm 可用来并行处理密集查询。Storm 的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。 举个例子 Distributed RPC 可以做并行搜索或者处理大集合的数据。</p> <p> 项目网页:<a href="/misc/goto?guid=4958190934989494363" target="_blank">http://t.cn/adMiuD </a></p> <p> 关于 Storm 的介绍 PPT:<a href="/misc/goto?guid=4958190935717828677" target="_blank">http://www.slideshare.net/nathanmarz/the-secrets-of-building-realtime-big-data-systems</a></p> <div id="come_from"> 来自: <a id="link_source2" href="/misc/goto?guid=4958190936463050531" target="_blank">CSDN</a> </div>