37.需要搞懂的Node.js的核心Feature
wljb0772
8年前
<h2>Node.js的核心Feature</h2> <ol> <li>EventLoop 事件循环</li> <li>global 和 process</li> <li>Event Emitters 事件触发</li> <li>Stream 和 Buffer</li> <li>Cluster 集群</li> <li>异步Error</li> <li>C++ 插件</li> </ol> <h2>Event Loop</h2> <p>事件循环算是Node的一个核心了，即使进程中不断有I/O调用也能处理其他任务。正因为阻塞I/O代价太高所以就凸显了Node的高效。</p> <p><img src="https://simg.open-open.com/show/43835d1ec28f1a58be48d9bbcc0a981c.png"></p> <p>ps: keynote做的图，不会PS，太麻烦。。。</p> <p>在 Python 这样来实现一个延迟处理</p> <pre> <code class="language-javascript">import time print "Step 1" print "Step 2" time.sleep(2) print "Step 3"</code></pre> <p>Node或JavaScript 通过异步回调的方式来实现</p> <pre> <code class="language-javascript">console.log('Step 1'); setTimeout(function () { console.log('Step 3'); }, 2000) console.log('Step 2');</code></pre> <p>可以事件循环想象成一个for或while循环，只有在现在或将来没有任务要执行的时候才会停下来。</p> <p><img src="https://simg.open-open.com/show/488a6b4e4b00c2193a28a2a58d8aa60d.png"></p> <p>在等待I/O任务完成之前就可以做更多事情，事件循环因此让系统更加高效。</p> <p><img src="https://simg.open-open.com/show/ef43e874605c281762c043f7e11fd471.png"></p> <p>Node也让我们从死锁中解放，因为根本没有锁。</p> <p>PS：我们仍然可以写出阻塞的代码</p> <pre> <code class="language-javascript">var start = Date.now(); for (var i = 1; i<1000000000; i++) {} var end = Date.now(); console.log(end-start);</code></pre> <p>这次的阻塞在我的机器上花了3400多毫秒。不过我们多数情况下不会跑一个空循环。</p> <p>而且fs模块提供了同步(阻塞)和异步(非阻塞)两套处理方法(区别于方法名后是否有Sync)</p> <p>如下阻塞方式的代码:</p> <pre> <code class="language-javascript">var fs = require('fs'); var con1 = fs.readFileSync('1.txt','utf8'); console.log(con1); console.log('read 1.txt'); var con2 = fs.readFileSync('2.txt','utf8'); console.log(con2); console.log('read 2.txt');</code></pre> <p>结果就是</p> <p>content1->read 1.txt->content2->read 2.txt</p> <p>非阻塞方式的代码:</p> <pre> <code class="language-javascript">var fs = require('fs'); fs.readFile('1.txt','utf8', function(err, contents){ console.log(contents); }); console.log('read 1.txt'); fs.readFile('2.txt','utf8', function(err, contents){ console.log(contents); }); console.log("read 2.txt");</code></pre> <p>代码执行后因为要花时间执行 <strong>读</strong> 的操作，所以会在最后的回调函数中打印出文件内容。当读取操作结束后事件循环就会拿到内容</p> <p>read 1.txt->read 2.txt->content1->content2</p> <p>事件循环的概念对前端工程师比较好理解，关键就是异步、非阻塞I\O。</p> <h2>global</h2> <p>从浏览器端切换到Node端就会出现几个问题</p> <ul> <li>全局变量如何创建(window对象已经没了)</li> <li>从 CLI 输入的参数、系统信息、内存信息、版本信息等从哪获取</li> </ul> <p>有一个 global 对象，顾名思义就是全局的，它的属性很多</p> <ul> <li>global.process 可获取版本信息、CLI 参数、内存使用(process.memoryUsage()这个函数很好用)</li> <li>global.__filename 当前脚本的文件名、路径</li> <li>global.__dirname 当前脚本绝对路径</li> <li>global.module 最常见的模块输出</li> <li>global.require() 模块引入</li> <li>global.console()、setInterval()、setTimeout() 这些浏览器端的方法也在global对象下面</li> </ul> <p>在命令行里执行一次 global 一切就都懂了。</p> <h2>process</h2> <p>通过process对象获取和控制Node自身进程的各种信息。另外process是一个全局对象，在任何地方都可以直接使用。</p> <p>部分属性</p> <ul> <li>process.pid 进程pid</li> <li>process.versions node、v8、ssl、zlib等组件的版本</li> <li>process.arch 系统架构，如:x64</li> <li>process.argv CLI参数</li> <li>process.env 环境变量</li> </ul> <p>部分方法</p> <ul> <li>process.uptime() 正常运行的时长</li> <li>process.memoryUsage() 内存使用情况</li> <li>process.cwd() 当前目录</li> <li>process.exit() 退出进程</li> <li>process.on() 添加事件监听 比如：on('uncaughtException')</li> </ul> <h2>Events</h2> <p>Events == Node Observer Pattern</p> <p>异步处理写多了就会出现callbackhell（回调地狱），还有人专门做了叫 callbackhell 的 <a href="/misc/goto?guid=4959677192384784517" rel="nofollow,noindex">网站</a> 。</p> <p>EventEmitter 就是可以触发任何可监听的事件，callbackhell可以通过事件监听和触发来避免。</p> <p>用法</p> <pre> <code class="language-javascript">var events = require('events'); var emitter = new events.EventEmitter();</code></pre> <p>添加事件监听和事件触发</p> <pre> <code class="language-javascript">emitter.on('eat', function() { console.log('eating...'); }); emitter.on('eat', function() { console.log('still eating...'); }); emitter.emit('eat');</code></pre> <p>假设我们有一个已经继承了 EventEmitter 的类，能每周、每天的处理邮件任务，而且这个类具有足够的可扩展性能够自定义最后的输出内容，换言之就是每个使用这个类的人都能够在任务结束时增加自定义的方法和函数。</p> <p>如下图，我们继承了 EventEmitter 模块创建了一个Class: Job，然后通过事件监听器 done 来实现Job的自定义处理方式。</p> <p><img src="https://simg.open-open.com/show/9f1e60a9873a9523997b2290fe335502.png"></p> <p>我们需要做的只是在进程结束的时候触发 done 事件：</p> <pre> <code class="language-javascript">// job.js var util = require('util'); var Job = function() { var job = this; job.process = function() { job.emit('done', { completeTime: new Date() }) } } util.inherits(Job, require('events').EventEmitter); module.exports = Job;</code></pre> <p>我们的目的是在 Job 任务结束时执行自定义的函数方法，因此我们可以监听 done 事件然后添加回调：</p> <pre> <code class="language-javascript">var Job = require('./job.js') var job = new Job() job.on('done', function(data){ console.log('Job completed at', data.completeTime) job.removeAllListeners() }) job.process()</code></pre> <p>关于 emitter 还有这些常用方法</p> <ul> <li>emitter.listeners(eventName) 列出 eventName 的所有监听器</li> <li>emitter.once(eventName, listener) 只监听一次</li> <li>emitter.removeListener(eventName, listener) 删除监听器</li> </ul> <h2>stream 流</h2> <p>用Node处理比较大的数据时可能会出现些问题：</p> <ul> <li>速度较慢</li> <li>缓冲器只限制在1GB上等，</li> <li>数据连续不断的时如何何操作</li> </ul> <p>用Stream就会解决。因为Node的 Stream 是对连续数据进行分块后的一个抽象，也就是不需要等待资源完全加载后再操作。</p> <p>标准Buffer的处理方式：</p> <p><img src="https://simg.open-open.com/show/9a2ebcc5866a2919596e34ea1d6f631f.png"></p> <p>只有整个Buffer加载完后才能进行下一步操作，看图对比下Node的Stream，只要拿到数据的第一个 chunk 就可以进行处理了</p> <p><img src="https://simg.open-open.com/show/8f1694e2d8adb8d851d7f0bdb0aca69c.png"></p> <p>Node中有四种数据流：</p> <ol> <li>Readable 读</li> <li>Writable 写</li> <li>Duplex 读&写</li> <li>Transform 数据转换</li> </ol> <p>Stream在Node中很常见：</p> <ul> <li>HTTP 的 request response</li> <li>标准 I/O</li> <li>文件读写</li> </ul> <p>Readable Stream</p> <p>process.stdin 是一个标准输入流，数据一般来自于键盘输入，用它来实现一个可读流的例子。</p> <p>我们使用 data 和 end 事件从 stdin 中读取数据。其中 data 事件的回调函数的参数就是 chunk 。</p> <pre> <code class="language-javascript">process.stdin.resume() process.stdin.setEncoding('utf8') process.stdin.on('data', function (chunk) { console.log('chunk: ', chunk) }) process.stdin.on('end', function () { console.log('--- END ---') })</code></pre> <p>PS: stdin 默认是处于pause状态的，要想读取数据首先要将其 resume()</p> <p>可读流还有一个 <strong>同步</strong> 的 read() 方法，当流读取完后会返回 chunk或null ，课这样来用：</p> <pre> <code class="language-javascript">var readable = getReadableStreamMethod() readable.on('readable', () => { var chunk while (null !== (chunk = readable.read())) { console.log('got %d bytes of data', chunk.length) } })</code></pre> <p>我们在Node中要尽可能写异步代码避免阻塞线程，不过好在 chunk 都很小所以不用担心同步的 read() 方法把线程阻塞</p> <p>Writable Stream</p> <p>我们用 process.stdin 对应的 process.stdout 方法来实现个例子</p> <pre> <code class="language-javascript">process.stdout.write('this is stdout data');</code></pre> <p>把数据写入标准输出后是在命令行中可见的，就像用 console.log()</p> <p>Pipe</p> <p>就像自来水要有自来水管一样，Stream 需要传送 也需要 Pipe。</p> <p>下面的代码就是从文件中读数据，然后GZip压缩，再把数据写入文件</p> <pre> <code class="language-javascript">const r = fs.createReadStream('file.txt') const z = zlib.createGzip() const w = fs.createWriteStream('file.txt.gz') r.pipe(z).pipe(w)</code></pre> <p>readable.pipe() 方法从可读流中拉取所有数据，并写入到目标流中，同时返回目标流，因此可以链式调用(也可以叫导流链)。</p> <p>PS:该方法能自动控制流量以避免目标流被快速读取的可读流所淹没。</p> <p>HTTP 流</p> <p>web应用最常见了，HTTP 流用的也最多。</p> <p>request 和 response 是继承自Event Emitter的可读可写流。下面的代码在各种教程中就很常见了：</p> <pre> <code class="language-javascript">const http = require('http') var server = http.createServer( (req, res) => { var body = ''; req.setEncoding('utf8'); req.on('data', (chunk) => { body += chunk; }) req.on('end', () => { var data = JSON.parse(body); res.write(typeof data); res.end(); }) }) server.listen(5502)</code></pre> <p>之前还写过一篇关于 Stream 和 Pipe 的文章： <a href="/misc/goto?guid=4959677192480374355" rel="nofollow,noindex">Node.js 使用 fs 模块做文件 copy 的四种方法</a> 能清楚的比较出使用Stream后能更快的获取到数据。</p> <p>Buffer</p> <p>浏览器中的JS没有二进制类型的数据(ES6中ArrayBuffer是二进制)，但是Node里面有，就是 Buffer。 Buffer是个全局对象，可直接使用来创建二进制数据：</p> <ul> <li>Buffer.alloc(size)</li> <li>Buffer.from(array)</li> <li>Buffer.from(buffer)</li> <li>Buffer.from(string[, encoding])</li> </ul> <p><a href="/misc/goto?guid=4959677192558955652" rel="nofollow,noindex">官方API</a> 中有最全的方法。</p> <p>标准的Buffer数据比较难看懂，一般用 toString() 来转换成人类可读的数据</p> <pre> <code class="language-javascript">let buf = Buffer.alloc(26) for (var i = 0 ; i < 26 ; i++) { buf[i] = i + 97; } console.log(buf); // <Buffer 61 62 63 64 65 66 67 68 69 6a 6b 6c 6d 6e 6f 70 71 72 73 74 75 76 77 78 79 7a> buf.toString('utf8'); // abcdefghijklmnopqrstuvwxyz buf.toString('ascii'); // abcdefghijklmnopqrstuvwxyz // 截取 buf.toString('utf8', 0, 5); // abcde buf.toString(undefined, 0, 5); // abcde 编码默认是 utf8</code></pre> <p>fs 模块的 readFile 方法回调中的data就是个Buffer</p> <pre> <code class="language-javascript">fs.readFile('file-path', function (err, data) { if (err) return console.error(err); console.log(data); });</code></pre> <h2>Cluster 集群</h2> <p>单个 Node 实例运行在单个线程中。要发挥多核系统的能力，就需要启动一个 Node 进程集群来处理负载。核心模块 cluster 可以让一台机器的所有 CPU 都用起来，这样就能纵向的来扩展我们的Node程序。</p> <pre> <code class="language-javascript">var cluster = require('cluster'); var numCPUs = 4; // 我的 MacBook Air 是4核的 if (cluster.isMaster) { for (var i = 0; i < numCPUs; i++) { cluster.fork() } } else if (cluster.isWorker) { console.log('worker') }</code></pre> <p>上面的代码比较简单，引入模块创建一个 master 多个 worker，不过 numCPUs 并一定非得是一台电脑的核心数，这个可以根据自己需求想要多少都行。</p> <p>worker 和 master 可以监听相同的端口，worker通过事件和master通信。master也能监听事件并根据需要重启集群。</p> <p>重要代表 pm2</p> <p>pm2优点很多：</p> <ul> <li>负载均衡</li> <li>热重载：0s reload</li> <li>非常好的测试覆盖率</li> </ul> <p>pm2 启动很简单：</p> <p>$ pm2 start server.js -i 4 -l ./log.txt</p> <ul> <li>-i 4 是 cpu数量（我是4核的）</li> <li>-l ./log.txt 打日志</li> </ul> <p>pm2 启动后自动到后台执行 通过 $ pm2 list 可以查看正在跑着那些进程。</p> <p>更多内容直接看官网: <a href="/misc/goto?guid=4959667917224166496" rel="nofollow,noindex">http://pm2.keymetrics.io/</a></p> <h3>Spawn vs Fork vs Exec</h3> <p>child_process.spawn() vs child_process.fork() vs child_process.exec()</p> <p>Node中有如上三种方式创建一个外部进程，而且都来自于核心模块 child_process</p> <ul> <li> <p>require('child_process').spawn() 用于比较大的数据，支持流，可以与任何命令(bash python ruby 以及其他脚本)一起使用，并且不创建一个新的V8实例</p> <p><a href="/misc/goto?guid=4959677192680547701" rel="nofollow,noindex">官网的例子</a> 就是执行了一个bash命令</p> </li> <li> <p>require('child_process').fork() 创建一个新的V8实例，实例出多个worker</p> <p>和spawn不同的的是 fork 只执行 node 命令</p> </li> <li> <p>require('child_process').exec() 使用Buffer，这使得它不适合比较大的数据和Stream，异步调用，并在回调一次性拿到所有数据</p> <p>exec()用的不是事件模式，而是在回调中返回 stdout stderr</p> </li> </ul> <h2>处理异步 Error</h2> <p>处理异常一般都用 try/catch ,尤其是在同步代码非常好用，但是在异步执行中就会出现问题</p> <pre> <code class="language-javascript">try { setTimeout(function () { throw new Error('Fail!') }, 1000) } catch (e) { console.log(e.message) }</code></pre> <p>这种异步的回调里面情况肯定catch不到错误，当然把try/catch放入回调函数肯定没问题，但这并不是个好办法。</p> <p>所以Node里面标准的回调函数的第一个参数都是 error ,于是就有了这样的代码</p> <pre> <code class="language-javascript">if (error) return callback(error)</code></pre> <p>一般处理异步异常的方法如下：</p> <ul> <li>监听所有的 on('error')</li> <li>监听 uncaughtException</li> <li>用 domain 模块 或者 <a href="/misc/goto?guid=4959677192762224448" rel="nofollow,noindex">AsyncWrap</a></li> <li>打日志</li> <li>退出然后重启进程。。。。</li> </ul> <p>uncaughtException</p> <p>uncaughtException是一种很简单粗暴的机制，当一个异常冒泡到事件循环中就会触发这个事件，不过这个不建议使用。</p> <pre> <code class="language-javascript">process.on('uncaughtException', function (err) { console.error('uncaughtException: ', err.message) console.error(err.stack) process.exit(1) })</code></pre> <p>Domain</p> <p>domain自身其实是一个EventEmitter对象，它通过事件的方式来传递捕获的异常。</p> <p>进程抛出了异常，没有被任何的try catch捕获到，这时候将会触发整个process的processFatal，此时如果在domain包裹之中，将会在domain上触发error事件，反之，将会在process上触发uncaughtException事件。</p> <p>用法：</p> <pre> <code class="language-javascript">var domain = require('domain').create() d.on('error', function(e) { console.log(e) }) d.run(function() { setTimeout(function () { throw new Error('Failed!') }, 1000) });</code></pre> <p>从 4.0 开始Node已经不建议使用了，以后也会被剥离出核心模块</p> <p>打日志</p> <p><a href="/misc/goto?guid=4959630043240399913" rel="nofollow,noindex">log4js</a></p> <p>日志不仅仅能记录异常信息</p> <h2>C++ 插件</h2> <p>Node.js在硬件、IoT领域开始流行就是因为能和 C/C++ 代码合体使用。</p> <p>官方提供了很多C++插件的例子： <a href="/misc/goto?guid=4959677192883307406" rel="nofollow,noindex">https://github.com/nodejs/node-addon-examples</a></p> <p>以第一个HelloWorld为例：</p> <p>创建 hello.cc 文件，这个代码比较好理解</p> <pre> <code class="language-javascript">#include <node.h> namespace demo { using v8::FunctionCallbackInfo; using v8::HandleScope; using v8::Isolate; using v8::Local; using v8::Object; using v8::String; using v8::Value; void Method(const FunctionCallbackInfo<Value>& args) { Isolate* isolate = args.GetIsolate(); args.GetReturnValue().Set(String::NewFromUtf8(isolate, "Hello World C++ addon")); // 输出Hello World } void init(Local<Object> exports) { NODE_SET_METHOD(exports, "hello", Method); // Exporting } NODE_MODULE(addon, init) }</code></pre> <p>创建binding.gyp文件 内容一看就懂</p> <pre> <code class="language-javascript">{ "targets": [ { "target_name": "addon", "sources": [ "hello.cc" ] } ] }</code></pre> <p>依次执行两个命令</p> <pre> <code class="language-javascript">$ node-gyp configure $ node-gyp build</code></pre> <p>编译完成后在 build/Release/ 下面会有一个 addon.node 文件</p> <p>然后就简单了创建 h.js</p> <pre> <code class="language-javascript">var addon = require('./build/Release/addon') console.log(addon.hello())</code></pre> <p>执行 $ node hello.js 打印出了 Hello World C++ addon</p> <p>OVER....</p> <p>PS: 文中图片都是用keynote制作的</p> <p>PS: 部分参考和翻译自：</p> <ul> <li><a href="/misc/goto?guid=4959005890100786133" rel="nofollow,noindex">https://nodejs.org/api/</a></li> <li><a href="/misc/goto?guid=4958850434773685572" rel="nofollow,noindex">http://www.ruanyifeng.com/blog/2014/10/event-loop.html</a></li> <li><a href="/misc/goto?guid=4959677193019428753" rel="nofollow,noindex">http://webapplog.com/you-dont-know-node/</a></li> <li><a href="/misc/goto?guid=4959677193106767327" rel="nofollow,noindex">https://cnodejs.org/topic/516b64596d38277306407936</a></li> </ul> <p> </p> <p>来自：https://github.com/ccforward/cc/issues/38</p> <p> </p> <p><span style="background:rgb(189, 8, 28) url("data:image/svg+xml; border-radius:2px; border:medium none; color:rgb(255, 255, 255); cursor:pointer; display:none; font:bold 11px/20px "Helvetica Neue",Helvetica,sans-serif; left:30px; opacity:0.85; padding:0px 4px 0px 0px; position:absolute; text-align:center; text-indent:20px; top:1751px; width:auto; z-index:8675309">Save</span></p>