Pholcus 0.5.1 发布，Go 爬虫软件

Pholcus 0.5.1 发布，更新内容如下：

1. 添加mysql输出；

2. 简化添加输出方式的步骤；

3. 优化json字符串输出；

4. 改进调度器，提升纵向抓取效率；

5. 修复因第三方包walk的更新导致单机模式无法启动的问题；

6. 添加简单的单机模式命令行操作；

7. 其他一些小的改进。

更多内容请查看软件主页。

下载地址：

• Source code (zip)

• Source code (tar.gz)

Pholcus（幽 灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，更重要的 是它支持socket长连接、全双工并发分布式，支持横纵向两种抓取模式，支持模拟登录和任务取消等！

框架模块

框架特点

1. Pholcus（幽灵蛛）以高效率，高灵活性和人性化设计为开发的指导思想；

2. 继承Go语言“少即是多”的风格，GUI界面尽量少得呈现技术层面的参数配置，而在程序内部做智能化参数调控；

3. 对采集规则进行了精心设计，结构化规则、高度封装、通用方法集、自由灵活的发挥空间，让你轻松添加规则；

4. 每个pholcus程序既可以是服务器也可以是客户端，通过socket传递request来实现任务分发，其中hpolcus模块充当管理核心的角色， 负责分发给其他节点和本地队列请求以及实时log，比如，让Pholcus软件同时在10台电脑运行，你就拥有了10个节点，自然形成分布式。

5. 支持横纵向两种抓取模式，并支持任务取消操作。