京东Presto获开源优秀项目大奖 技术因开放而绽放
“第十届开源中国开源世界高峰论坛”近日在广州召开,京东的大数据开源计算框架 Presto荣获2015COPU开源优秀项目大奖,同时,京东集团首席技术顾问翁志先生被评选为2015COPU开源杰出人物。本届大会以“构建开源平 台,服务万众创新”为主题,向行业分享了业界领先的开源技术。开源作为互联网技术发展的重要引擎,所带来的业务革新,对当前的互联网企业有着重要的影响。 京东一直以开源系统作为构建自身核心技术体系的基础,在开源领域深耕多年,并积极推动行业分享和交流。
京东资深数据库开发工程师 戴东东
从Presto中国社区到开放JD-Presto源代码
Presto是非死book于2013年秋季将其开源的分布式实时计算产品,因其绝佳的计算性能和数据源完全解耦的特性,在北美和欧洲得到广泛应用,推动了大数据实时计算技术的快速发展。
2014年京东针对Presto进行了二次开发、应用,成为中国软件业第一家成功将Presto投入生产使用的公司,同时与非死book展开深度合作,并帮助组建了Presto中国社区,支持Presto在中国的推广。
2015年3月,京东正式发布了JD-Presto源代码,将京东的工作成果贡献于社区,开启了京东回馈中国软件开源社区的先河,与国内各个领域的开发者和用户一起推动Presto在中国的发展。
贯穿于京东技术研发体系的开放意识
京东与非死book在业务模式上显然是不同的,在将Presto引入到京东的技术体 系当中,需要根据自身的业务进行调整。翁志作为京东首席技术顾问,一直致力于推广开源软件,主导了Presto产品的引入,组建云平台Presto研发团 队。如今Presto已经部署在京东的生产环境当中,翁志表示:“对于Presto的弱点,我们投入了精力进行弥补,改进了JDBC Driver,重写了并发性的调度,研发出了PDBO功能(Presto For DataBase Optimizer),大幅提升了Presto产品性能,生产使用表明,JD-Presto版本较其它大数据技术,性能提升10倍以上,成本节省一半,在 一个大规模的大数据集群中,这种技术优势将带来显著的经济效益,同时京东将这些成果反馈于社区,服务于广大开源用户,推动整个行业的高速成长。”
这种开放共享的精神,是开源世界所倡导的,也是京东所坚持的。对于京东来说,开放已经成 为技术研发体系非常重要的属性之一。从系统架构上,京东已经建设完成了调用平台化、API化、系统内部服务化的开放系统,因为只有开放才能够满足当前京东 庞大而复杂的业务需求。在技术文化上,京东同样崇尚开放和分享,不仅通过内部的开放平台迅速提升京东技术人的水平,而且更乐于对外开放资源,拉动互联网行 业的整体技术升级。
JD-Presto终结了数据分析的两难选择,提供了速度迅捷又节省资源的方案。开源系 统的高速成长让京东这样推崇开源的企业从中获益,使京东能够在互联网企业快速发展的过程中时刻保持创新的动力;同时京东也将自身的研发成果反哺回行业,为 更多的企业提供帮助,让开放共享的精神成为行业发展动力。
来自:http://news.ccidnet.com/art/1032/20150701/5863129_1.html