PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI
jopen
10年前
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示例：http://demo.pyspider.org/
- Write script in python with powerful API
- Powerful WebUI with script editor, task monitor, project manager and result viewer
- MySQL, MongoDB, SQLite 作为后台数据库
- Javascript 页面支持
- Task priority, retry, periodical and recrawl by age or marks in index page (like update time)
- Distributed architecture
