爬虫，几家欢喜几人愁。爬者，拿到有利数据，分析行为，产生价值。被爬者，一是损失数据，二是遇到不怀好意的爬虫往往被全站复制或服务器受冲击而无法服务。今天说的是一只友好的爬虫是如何构建出来的，请勿用它伤害他人。

Web缓存核心技术点需知

路由是什么呢？路由即是网络数据包在网络中的传输路径，或者说数据包在传输过程中所经过的网络节点，比如路由器，代理服务器之类的。

代理服务器是HTTP协议中一个重要的组件，发挥着重要的作用。 关于HTTP代理的文章有很多，本文不再赘述，如果不清楚的可以看一下HTTP代理的基础知识。