Web爬虫框架:Upton
jopen
11年前
Upton 是一个采用Ruby开发,用于简化web抓取的框架,包含了实用的调试模式。它提供了公共/重复的部分,所以你只需要编写网站特有的部分。
利用 Upton,你只需要一行代码就能够将一个复杂的网站导到CSV文件中。
Upton::Scraper.new("http://website.com/list_of_stories.html"). scrape_to_csv("output.csv", &Upton::Utils.list("#comments li a.commenter-name", :css))