搜索引擎原理全文索引：根据搜索结果来源的不同，全文搜索引擎可分为两类：一类拥有自己的网页抓取、索引、检索系统（Indexer），有独立的“蜘蛛”（Spider）程序、或爬虫（Crawler）、或“机器人”（Robot）程序（这三种称法意义相同），能自建网页数据库，搜索结果直接从自身的数据库中调用，Google和百度就属于此类。另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

在你点击了Google搜索按钮之后到看到结果这不足1秒钟的时间内，它做了什么?大家不妨看看谷歌搜索流程图，这张流程图展示了每天拥有3亿次点击量的Google搜索按钮背后搜索引擎在那不到1秒的响应时间内所进行的处理。

Overview of Search & Matching Concepts Recommendation Approaches in Solr: Attribute-based Hierarchical Classification Concept-based More-like-this Collaborative Filtering Hybrid Approaches

Overview of Search & Matching Concepts Recommendation Approaches in Solr: Attribute-based Hierarchical Classification Concept-based More-like-this Collaborative Filtering Hybrid Approaches Important Considerations & Advanced Capabilities

全文检索（Full-Text Retrieval）是指以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。 关于全文检索，我们要知道：1，只处理文本。2，不处理语义。3，搜索时英文不区分大小写。4，结果列表有相关度排序。 在信息检索工具中，全文检索是最具通用性和实用性的。

Apache Lucene是一个高性能，功能完整的文本搜索引擎库。

Apache Solr 是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。Solr是一个开源的企业级搜索服务器，底层使用易于扩展和修改的Java来实现。服务器通信使用标准的HTTP和XML，所以如果使用Solr了解Java技术会有用却不是必须的要求。 Solr主要特性有：强大的全文检索功能，高亮显示检索结果，动态集群，数据库接口和电子文档（Word，PDF等）的处理。而且Solr具有高度的可扩展，支持分布搜索和索引的复制。

引言本文用lucene和Heritrix构建了一个Web搜索应用程序Lucene是基于Java的全文信息检索包，它目前是ApacheJakarta家族下面的一个开源项目。Lucene很强大，但是，无论多么强大的搜索引擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫Spider。网络爬虫，又被称为蜘蛛Spider，或是网络机器人、BOT等，这些都无关紧要，最重要的是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。Heritrix是一个纯由Java开发的、开源的Web网络爬虫，用户可以使用它从网络上抓取想要的资源。

旅游行业垂直搜索的挑战整体架构语义解析&查询改写相关性&排序实时数据更新旅游行业垂直搜索的挑战产品设计上具有较强的引导性，难以满足目标不明确的用户需求产品种类繁多，差异化不明显，用户选择难度较大旅游属于服务行业，服务的价值不能直观的展现，如何挑选出最具性价比的产品产品价格和库存，跟日期、地点强相关，数据更新量大挑战目录旅游行业垂直搜索的挑战整体架构语义解析&查询改写相关性

Apache Solr 是一个开源的搜索服务器，Solr 使用 Java 语言开发，主要基于 HTTP 和 Apache Lucene 实现。定制 Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述所有 Field 及其内容的 XML 文档就可以了。定制搜索的时候只需要发送 HTTP GET 请求即可，然后对 Solr 返回的信息进行重新布局，以产生利于用户理解的页面内容布局。Solr 1.3 版本开始支持从数据库（通过 JDBC）、RSS 提要、Web 页面和文件中导入数据，但是不直接支持从二进制文件格式中提取内容，比如 MS Office、Adobe PDF 或其他专有格式。[可以通过工具从中提取文本信息然后再导入] 更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对 Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。

搜索是大数据的一大成功应用大数据的一大核心技术是搜索大数据的特性Volume（大量）Variety（多样）Velocity（高速）Value（价值）搜索是大数据应用Volume大于200BPages，平均20KB/Page，PB以上数据Variety网页，图片，视频，应用，声音，文本，结构化，半结构化，多媒体，微博，微信，feedVelocityUGC，邮件，贴子，Hadoop，Storm，SparkValue搜索的价值，日志分析，用户行为，阅读习惯，流感大数据核心技术：搜索搜索提供了数据处理框架：收集，记录，清洗，抽取，标注，整合，聚类，表达，分析，建模，解释搜索将数据去伪存真，有序化搜索让数据按需可用搜索分析方法和价值搜索流程收集分析索引检索反馈评估分析：抽取，标注，整合，聚类，表达，分析，建模，解释Volume技术数据收集：爬虫数据处理：分而治之，并行（MapReduce）数据存储：Block，Shard（HDFS）爬虫（一般）爬虫（优化）

inject操作调用的是nutch的核心包之一crawl包中的类Injector。 inject操作主要作用： 1.  将URL集合进行格式化和过滤，消除其中的非法URL，并设定URL状态(UNFETCHED),按照一定方法进行初始化分值； 2. 将URL进行合并，消除重复的URL入口； 3.  将URL及其状态、分值存入crawldb数据库，与原数据库中重复的则删除旧的，更换新的。

做完之前的实做，已经对hadoop有一定的体验，然而各位也许心中有些疑问，就是我学了hadoop到底可以用来..?，因此在此介绍一个hadoop的应用，搜寻引擎nutch 此篇的重点在於 o完整的安装nutch o用hadoop的角度来架设nutch o解抉中文乱码问题 o搜寻引擎不只是找网页内的资料，也能爬到网页内的档案(如pdf,msword) o也可运行在多台node

前些日子做了个apache solr应用的入门介绍，也在博客记录下，方便新手看看。以搜索论坛帖子为示例。

Lucene.net基本应用

Solr配置步骤安装JDK安装Tomcat配置Solr，目前最新版本Solr4.4,具体配置如下：(1)解压Solr4.4，创建Solr目录。

这几年，搜索的开发门槛越来越低，每个语言都有开源的检索工具包，而且功能越来越全，完整的解决方案也越来越多、越来越好用，比如lucene上就有solr, elasticsearch, sensei等。它们对于绝大部分的需求应该说都覆盖了，解放了直接在检索工具包上的开发工作量，让人可以更多关注业务上的开发。个人比较看好elasticsearch（简称ES），ES的使用非常简单，让人感觉更多地在使用一个Nosql，而且允许很多插件功能可以自己开发。我们可以很容易通过rest客户端去测试ES，因此学习起来很容易。

Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java资讯检索程式库。 人们经常提到资讯检索程式库，虽然与搜索引擎有关，但不应该将资讯检索程式库与搜索引擎相混淆。 <br>  全文检索服务主要由两大部门构成：索引器及搜索器。索引器主要负责对文件名称及文件内容进行分词，并创建索引表。搜索器负责检索索引表，获取相关内容信息，并显示

（介绍、安装部署、Java接口、中文分词） Apache Solr 介绍 Solr 是什么？ 　　Solr 是一个开源的企业级搜索服务器，底层使用易于扩展和修改的Java 来实现。服务器通信使用标准的HTTP 和XML，所以如果使用Solr 了解Java 技术会有用却不是必须的要求。 Solr 主要特性有：强大的全文检索功能，高亮显示检索结果，动态集群，数据库接口和电子文档（Word ，PDF 等）的处理。而且Solr 具有高度的可扩展，支持分布搜索和索引的复制。

本文从搜索引擎谈起，介绍了其工作流程以及出现的一些实际问题，从而提出搜索引擎优化。在介绍了搜索引擎优化定义、目的以及价值后，从搜索引擎优化自身的发展、用户行为分析、基于Z39.50的元搜索引擎的应用等方面，对搜索引擎优化的策略进行系统的总结，并针对这三种优化策略提出一系列具体的优化方法，搜索引擎技术优化、个性化服务的丰富与完善、大力发展特色搜索引擎等等。最后，对搜索引擎优化的发展前景进行了展望与总结。