爬虫这类型程序典型特征是意外多，无法确保每次请求都是稳定的返回统一的结果，要提高健壮性，能对错误数据or超时or程序死锁等都能进行处理，才能确保程序几个月不停止。本项目乃长期维护github： ...

ELF - 面向开发者的灵活可扩展的 HTML5 构建工具，提供命令行工具 elf（基于 Webpack）， 无需构建配置文件并可进行开发 ，可用来制作各种 HTML5 场景营销活动页面，也可自...

随着Web 2.0的发展，页面中的AJAX也越来越多。由于传统爬虫依靠静态分析，不能准确的抓取到页面中的AJAX请求以及动态更新的内容，已经越来越不能满足需求。基于动态解析的Web 2.0爬虫应...

常在一个大型的 Web 项目中有很多监控，比如后端的服务 API 监控，接口存活、调用、延迟等监控，这些一般都用来监控后台接口数据层面的信息。而且对于大型网站系统来说，从后端服务到前台展示会有很...

PhantomJS是提供JavaScript API的可编程无头浏览器（无图形界面）。它非常适合页面自动化和测试。其JavaScript API非常优秀，提供了许多高级功能，但同时也陷入了Jav...

通常在一个大型的 Web 项目中有很多监控系统，比如后端的服务 API 监控，接口存活、调用、延迟等监控，这些一般都用来监控后台接口数据层面的信息。而且对于大型网站系统来说，从后端服务到前台展示...

写文章的时候经常需要插入图片，插入现有的图片很简单，有时候制作一些优秀的网站列表的时候需要添加网页截图， 这个过程非常枯燥乏味，可以考虑开发一个命令行工具传入一个url，然后生成页面截图。

雅虎在2006年就发布了一份提升Web站点响应速度的 最佳实践指南 。该指南包含了35条规则，分为7个类别。这些规则已经被广泛使用，并指导人们在新的站点设计时更有针对性的考虑问题。这份指南已经成...

以前写爬虫，遇到需要登录的页面，一般都是通过chrome的检查元素，查看登录需要的参数和加密方法，如果网站的加密非常复杂，例如登录qq的，就会很蛋疼

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于we...

最近一直在研究关于Headless browsers一些东西，最先接触到的就是相当有名的 phantomJS ，无UI界面，基于WebKit内核，多用于在JS测试的一些方面，当然还有网络监控，网...

PhantomJS 是一个基于 WebKit 的服务器端JavaScript API，它基于 BSD 开源协议发布。PhantomJS无需浏览器的支持即可实现对Web的支持，且原生支持各种Web...

最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。 Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小2）...

前一段时间公司需要爬取部分web页面的数据使用。但是页面中的主要数据是ajax load出来的，传统的抓取方法是拿不到数据的。后来在网上发现了phantomjs，在无界面的情况下运行js，渲染d...

注* PhantomJS 和 node-webkit 是基于Webkit实现的一套用Web技术实现跨平台桌面程序应用的解决方案，PhantomJS此前多用于自动化测试方面。Node-Webkit...

phantomjs 是 一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，这样访问网页就省去了浏览器的界面绘制所消耗的系统资源，比较适合用于网络测试等应用 。我只是调用了其中...

PhantomJS 是一个命令行工具，我们可以把它看作是无界面的 webkit 浏览器。 与界面版相比，它速度相当快，且原生支持多种 web 标准，如 DOM，CSS 选择符，JSON，C...