inject操作调用的是nutch的核心包之一crawl包中的类Injector。 inject操作主要作用： 1.  将URL集合进行格式化和过滤，消除其中的非法URL，并设定URL状态(UNFETCHED),按照一定方法进行初始化分值； 2. 将URL进行合并，消除重复的URL入口； 3.  将URL及其状态、分值存入crawldb数据库，与原数据库中重复的则删除旧的，更换新的。

做完之前的实做，已经对hadoop有一定的体验，然而各位也许心中有些疑问，就是我学了hadoop到底可以用来..?，因此在此介绍一个hadoop的应用，搜寻引擎nutch 此篇的重点在於 o完整的安装nutch o用hadoop的角度来架设nutch o解抉中文乱码问题 o搜寻引擎不只是找网页内的资料，也能爬到网页内的档案(如pdf,msword) o也可运行在多台node

1基本原理：1.1体系结构设计：网络蜘蛛一般都具有3模块：HTTP下载模块，链接分析模块，下载控制模块。HTTP下载模块利用http网络协议下载，获取并存储内容。链接分析模块能提取网页中的超链接，用来获得后续页面入口。下载控制模块控制页面访问次序、更新策略、访问队列调度等工作。工作流程：访问URL数据库，读取URL入口地址，生成内存访问队列。寻找空闲的HTTP下载模块，分配URL，启动下载任务。HTTP下载模块访问互联网，得到的网页内容放入结果队列。

网络上关于nutch1.4的配置和使用很少，官方网站提供的方法我研究了半天特别麻烦，而且发现弄完后有的依赖包找不到，我决定放弃使用。将这两天关于nutch1.4配置的另一种方法整理一下仅供参考！

Nutch搜索引擎数据获取。1基本原理：1.1体系结构设计：网络蜘蛛一般都具有3模块：HTTP下载模块，链接分析模块，下载控制模块。HTTP下载模块利用http网络协议下载，获取并存储内容。链接分析模块能提取网页中的超链接，用来获得后续页面入口。下载控制模块控制页面访问次序、更新策略、访问队列调度等工作。工作流程：访问URL数据库，读取URL入口地址，生成内存访问队列。寻找空闲的HTTP下载模块，分配URL，启动下载任务。HTTP下载模块访问互联网，得到的网页内容放入结果队列。定期保存到网页数据库，为后续索引做准备。链接分析模块提取页面内的新连接，存入URL数据库等待下载。重复上述过程直到全部下载完成，等待新的任务。

Nutch中的所有配置文件都放置在总目录下的conf子文件夹中，最基本的配置文件是conf/nutch-default.xml。这个文件中定义了 Nutch的所有必要设置以及一些默认值，它是不可以被修改的。如果你想进行个性化设置，你需要在conf/nutch-site.xml进行设置，它会 对默认设置进行屏蔽。

网络上关于nutch1.4的配置和使用很少，官方网站提供的方法我研究了半天特别麻烦，而且发现弄完后有的依赖包找不到，我决定放弃使用。将这两天关于nutch1.4配置的另一种方法整理一下仅供参考！如有其它问题欢迎加1277140354一起交流学习！

Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。Nutch 0.8 完全使用Hadoop重写了骨干代码，另有很多地方作了合理化修正，非常值得升级。

Nutch1.0源代码分析

org.apache.nutch.crawl.Injector: 1，注入url.txt 2，url标准化 3，拦截url，进行正则校验（regex-urlfilter.txt） 4，对符URL标准的url进行map对构造url,CrawlDatum，在构造过程中给CrawlDatum初始化得分，分数可影响urlhost的搜索排序，和采集优先级！5，reduce只做一件事，判断url是不是在crawldb中已经存在，如果存在则直接读取原来CrawlDatum，如果是新host。

Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。

Lucene 不是完整的应用程序，而是一个用于实现全文检索的软件库。 Nutch 是一个应用程序，可以以 Lucene 为基础实现搜索引擎应用。

Nutch的爬虫抓取网页有两种方式，一种方式是Intranet Crawling，针对的是企业内部网或少量网站，使用的是crawl命令；另一种方式是Whole-webcrawling，针对的是整个互联网，使用inject、generate、fetch和updatedb等更底层的命令。本文将以使用Nutch为笔者在CSDN处的个人专栏文章内容建立搜索功能为例，来讲述Intranet Crawling的基本使用方法（假设用户电脑系统已安装好JDK、Tomcat和Resin，并做过相应的环境配置）。