Lucene是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。Lucene以其方便使用、快速实施以及灵活性受到广泛的关注。它可以方便地嵌入到各种应用中实现针对应用的全文索引、检索功能，本总结使用lucene--2.3.2。

网络上关于nutch1.4的配置和使用很少，官方网站提供的方法我研究了半天特别麻烦，而且发现弄完后有的依赖包找不到，我决定放弃使用。将这两天关于nutch1.4配置的另一种方法整理一下仅供参考！如有其它问题欢迎加1277140354一起交流学习！

lucene爬数据库中的数据无非也是查询数据。所有我们用lucene搜索数据主要有下面几个步骤：(代码紧供参考) 

如何测试搜索引擎的索引量大小背景知识：搜索引擎的质量指标一般包括相关性（Relevance）、时效性（Freshness）、全面性（Comprehensiveness）和可用性（Usability）等四个方面，今天我们要谈的索引量就属于完整性指标的范畴。

摘要随着信息时代的来临，人们的生活、学习、工作和娱乐已经与信息技术充分的融为一体。随着群众对互联网参与度的增加和企事业单位信息化的逐步深入，信息量也成倍地增长，如何能更好地从浩如烟海的数字信息中快速、精准地查找到需要的信息，成为全国人民的迫切需求。尤其是处于信息化建设道路上的中小企业，如何快速且廉价地开放自己的信息检索系统，对于企业的成长至关重要。本文介绍了搜索引擎的基本原理，对搜索引擎的一些核心技术进行了介绍与深入的分析；介绍了Lucene搜索引擎工具包的架构及其基本使用；对基于开源搜索引擎包Lucene的搜索框架Solr进行架构、代码、配置等方面的研究；最后设计并实现了一个基于Solr1.3的简单可用的多库搜索引擎。整个设计过程致力于提高管理维护的方便性和可扩展性。

本体学习 - Web信息提取的扩展 可以从文本、字典、知识库、半结构化以及关系模式中等资源中进行 基于文本的本体学习是最具有挑战性和最有意义的本体学习方式 基于句法分析的方法（如模式匹配法等） 基于统计的方法

主要内容研究目标相关研究的现状本文提出的方法---锚点定位法锚点定位法的应用总结研究目标消除“网页噪音”，提取网页主题信息实现基于模板的主题提取算法，应用于搜索引擎中相关研究工作的现状基于启发知识的分块方法[1]基于视觉特征的分块方法[3]基于深入分析网页标记的解析方法[2]对以上方法的比较三种方法都局限于只通过对一个网页进行分析分块，然后找出主题块。这几种算法由于过于依赖网页的结构和内容，因此，对于处理复杂得网页有一定的困难。

针对HTML的半结构化特征和DOM缺乏位置信息的不足，该文提出了一种新型的Web页面分析和内容提取框架，该框架既包括一种新型的含有位置信息的坐标树模型，还包括能反映空间关系的图模型，将HTML文档转换为坐标树，并结合位置特征和空间关系对网页进行分析和提取内容。

主题提取算法HITS算法描述HITS算法存在的缺陷相关的改进算法HAC算法算法解决的问题算法的描述实验结果结论HITS算法描述1）Hub网页和Authority网页:Hub网页即是出度高的网页；Authority网页即是入度高的网页；2）好的Hub网页指向很多好的Authority网页；而好的Authority网页会被很多好的Hub网页指向。

它占用了搜索引擎大部分的存储空间。随着互联网络上信息量的不断增加，索引表也在不断的增大，带来了许多海量数据存取以及搜索的效率等方面的问题。因此，对索引表进行压缩，减少空间的占用，能够更有效地利用内存，从而一定程度上解决存储空间不足和存取速度缓慢等问题。

我们生活中的数据总体分为两种：结构化数据和非结构化数据。 • 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 • 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。 当然有的地方还会提到第三种，半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。

本文首先综述了中文全文检索中索引构造的相关技术，主要包括索引文件数据结构、索引单位选取和索引压缩算法。

我们使用Lucene，主要是做站内搜索，即对一个系统内的资源进行搜索。如BBS、BLOG中的文章搜索，网上商店中的商品搜索等。使用Lucene的项目 有Eclipse、Jira等。一般不做互联网中资源的搜索，因为不易获取与管理海量资源（专业搜索方向的公司除外）。 所以，学完Lucene后我们就可以为自已的系统增加全文检索的功能。跟这个学习内容相关的练习为：为“传智手播客贴吧”增加搜索其中的文章的功能。

目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。什么是中文分词众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子Iamastudent，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。

Solr 是一种可供企业使用的、基于 Lucene 的搜索服务器，它支持层面搜索、命中醒目显示和多种输出格式。在这篇分两部分的文章中，Lucene Java™ 的提交人 Grant Ingersoll 将介绍 Solr 并向您展示如何轻松地将其表现优异的全文本搜索功能加入到 Web 应用程序中。 使用 Apache Solr 可以满足所有的这些要求，它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。您可以坚持使用 Solr 的表现优异的基本搜索功能，也可以对它进行扩展从而满足企业的需要。Solr 还拥有一个活跃的开发者群体，如有需要，您可以随时向他们寻求帮助。

索引文件的设计对整个搜索引擎的设计都至关重要，它的结构就能体现出搜索引擎的核心所在，索引文件结构设计好坏会直接体现在这个搜索引擎的性能上，平台框架的设计也将与它息息相关。如果要深入了解整个搜索引擎，我认为熟悉它的索引文件结构是一个很有必要的工作。我们甚至可以改进索引文件结构以提高系统的性能。

实现对网页的采集工作。开始时，程序由某一组特定的网页开始，抽取页面中的链接，同时将访问过的网页存储，如此反复进行，以获取足够的网页。在采集文档的同时, 记录各文档的地址信息、修改时间、文档长度等状态信息，用于站点资源的监视和资料库的更新。在采集过程中，还可以构造适当的启发策略，来指导机器人的路径选择和采集范围，以减少文档采集的盲目性。

我们使用Lucene，主要是做站内搜索，即对一个系统内的资源进行搜索。如BBS、BLOG中的文章搜索，网上商店中的商品搜索等。使用Lucene的项目 有Eclipse、Jira等。一般不做互联网中资源的搜索，因为不易获取与管理海量资源（专业搜索方向的公司除外）。 所以，学完Lucene后我们就可以为自已的系统增加全文检索的功能。跟这个学习内容相关的练习为：为“传智手播客贴吧”增加搜索其中的文章的功能。

本手册首先介绍了Lucene的概念，详细描述了简单快速地将Lucene融入WEBDT运行平台并进行实际开发的方法，使技术人员对Lucene有一个概要性的框架认识，为下一步开发工作奠定基础。

现代意义上的搜索引擎的祖先，是1990年由蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。