Go 爬虫软件,Pholcus 0.6.0 发布

jopen 9年前

Pholcus(幽灵蛛)是一款纯Go语言编写的重量级爬虫软件,清新的GUI界面,优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo,支持横纵向两种抓取模式,支持模拟登录和任务取消等,并且考虑了支持分布式布局。

Pholcus 0.6.0 发布,更新内容如下:

  1. 新增web操作界面(已支持web/gui/command三种界面);

  2. 支持运行模式热切换。

  3. 下载器支持固定UserAgent,自动保存cookie模式;

  4. 下载器支持随机大量常用UserAgent,禁用cookie模式;

  5. 下载器添加url自动转码功能;

  6. 优化app等模块,接口对接更加灵活简单。

更多内容请查看软件主页

下载:Source code (zip)