Web爬虫工具 NCrawler

openkk 13年前

NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式，并且具有可以延展的能力，让开发人员可以扩充它的功能，以支援其他类型的资源（例如PDF /Word/Excel 等档案或其他资料来源）。 NCrawler 使用多执行绪（Multi-threading）模式针对网路资源进行探索，并且会依照给定的步骤来处理抓取到的资源，然后依给定的资源来活动（像是写入资料库或是撷取部份资料等等）。