eBay 编写第一个 Node.js 应用的经验

jopen 11年前

在大多数情况下,eBay基于Java的技术运转着。我们整个工作流程的中心围绕着Java和JVM。考虑到网络访问的规模以及像ebay.com 这样类型的网站所需要的稳定性,采用成熟的技术是一个显而易见的选择。但我们一直对新技术持开放态度,Node.js摘得候选人名单中最受关注技术已经有相当长的一段时间了。这篇文章对我们如何开发eBay的第一个Node.js应用的几个方面做了重点阐述。

伸缩性

这开始于一些eBay工程师(Steven,VenkatSenthil)想把“eBay Hackathon”编程大赛的获奖作品"Talk"用于生产环境。当时我们发现java不适合项目要求(没要冒犯的意思),于是开始研究Node.js。现在我们完全使用Node.js开发并投入运行。

这个项目有两个核心要求。第一是尽可能的实时性,也就是维护活动连接。第二是组织各种eBay服务的信息显示在页面,即处理有I/O限制的操作。开始时用Java搭建基础,但比预想的资源要多,伸缩性很有问题。这些障碍令我们从草稿里做了新中间编配器(orchestrator),并发现Node.js似乎是更好的选择。

观念

eBay由Java开发,Java是高效的强类型语言,那时很难说服人们用JavaScript做后端,有类型安全、错误处理、延展性等问题。而且,JavaScript(世界上最被误解的语言)本身也给争论添油加醋。为了解决问题,我们做一个内部备忘,请工程师们提意见,问题,疑虑和一切与Node.js相关的。

几天后,我们有了详尽的工作列表。如预料中,主要的问题集中在堆栈可靠性和处理之前Java实现的功能的效率。我们回答每个问题,提供实际例子的细节。同时这些例子让大家开眼界,并发现一些以前没考虑到的问题。最后,大家都理解了Node.js的核心价值,明白了其美妙之处。

经过同行们的测试,我们明白,可以开搞了。

启动

我们从一张白纸开始。想先构建一个足够小的Node.js底板然后扩展,而不是引入一个专用的框架。最先的四个Node模块express,cluster,requestasync。数据储存采用MongoDB,易用而且eBay已经有内部建设。基本设置好,我们的服务可以在开发沙盒中运行了,接受请求,处理一些eBay的API,存储数据。

为了端对端测试,我们配置了一些前端服务器指向Node.js服务,看起来一切良好,可以继续下一步。我们列出了所有用户用例,明确REST节点,设计数据模型和模式,确定最佳的Node模块以使用,并开始实现各节点。接下来的几周,我们低着头,coding和coding。

部署

当应用开发到一个稳定点时,就是时候开始从开发状态转向阶段测试环境了。这时我们开始查看有关部署的Node.js技术栈。我们部署的目标很明确:自动化部署,一次构建,处处运行。这是Java的部署方式,我们也希望Node.js部署也尽可能的无缝而简单。

我们可以使用我们已有的基于云的部署环境。我们所要做的就是编写一个shell脚本并让其在我们的Hudson 持续集成服务器(CI)上运行。一旦新的代码被提交到master分支上,Hudson CI就开始自动部署。使用这个脚本,服务器就可以构建并打包Node.js应用并将其部署到云上。云端提供了简单的接口来选择运行环境(QA、阶段测试、预发布),然后我们就可以在有关的机器上运行了。

现在我们有了自己的Node.js Web服务运行在许多稳定环境中。整个部署步骤比我们想象的要更快、更简单。

监控

在eBay,我们有专门的日志API与Java线程和JVM集成在一起。一个好的基于这些日志数据的监控面板可以很好的随时反应可能出现的问题。我们与中央日志系统进行对接,为Node.js也创建了类似的监控系统。我们很幸运,我们有现成的日志API。我们开发了一个日志模块并实现了三种不同的日志API:

  1. 源码级日志 - 这个等级包括错误/异常,数据库队列,HTTP请求,元数据交易等等。

  2. 机器级日志 - 这个等级包括CPU/内存和其他操作系统的运行状况。机器级日志运行于集群模块层中,我们扩展了npm cluster module并创建了eBay定制版。

  3. 负载均衡器级日志 - 所有的使用Node.js的机器都工作于一个负载均衡器之后,它负责向机器周期性地发送信息并保证一切运转良好。一旦有一台机器宕掉,负载均衡器就会紧急启用备用机器,并向运维和工程小组发出警告。

我们确保其生成的日志文件格式与Java版本的日志相一致,这样就可以生成与原来相同的大家熟悉的面板和报告了。

一个有关日志的主要难题在于Node.js event loop的异步特性。这将导致各项业务的顺序完全混杂在一起。下面这个例子可以让你更好的了解这个问题:Node通过异步调用启动了一次URL处理并访问数据库。这个过程将在数据库访问完成之前和下一次请求一并进行。这在诸如Node.js一类的事件驱动引擎中非常普遍,各种日志关于URL处理的日志混杂在一起,报告工具会生成混乱的输出。我们同时必须给出这个问题的短期和长期解决方案。

结论

完成了以上这些工作,我们可以让Hackathon项目运行起来了。这是eBay第一个以Node.js作为后端的应用。我们已经在内部员工之间进行了测试,有关其性能的反馈都相当不错。未来将更加精彩!

我们要为我们内部的Node.js专家Cylus Penkar喝彩,他一直在为这个项目进行引导并作出了贡献。有了这次Node.js后端的成功,eBay的技术团队正在使用Node.js打造一个完善的前端技术栈。这将包括我们现在大部分资源,这些功能包括本地化、资源管理(JS/CSS/images)以及项目跟踪。对于前端工程师来说,梦想实现了。我们可以自豪的说: “JavaScript is EVERYWHERE.”