全文搜索引擎 XunSearch

     <h3 id="-xunsearch">关于 xunsearch</h3>    <p>Xunsearch 是一个高性能、全功能的全文检索解决方案。</p>    <h4 id="xunsearch-">Xunsearch 旨在帮助一般开发者针对既有的海量数据，快速而方便地建立自己的全文搜索引擎。</h4>    <p>Xunsearch 中文译名为“<strong>迅搜</strong>”，代码中的经常被缩写为 <strong>XS</strong>，既是英文名称的缩略也是中文声母缩写。这儿的“迅”是快速的意思，至少包含了两层涵义：其一代表了搜索结果的响应能力，其二则为二次开发难度、速度。</p>    <p>Xunsearch 采用结构化分层设计，包含后端服务、前端开发包两大部分，层次清晰而不交叉。其中后端是采用 C/C++ 编写的守护进程，而前端采用最为流行的脚本语言 PHP ，对于 web 搜索项目更为方便。具体参见<a href="/misc/goto?guid=4958199199184640895">架构设计</a>。</p>    <p>Xunsearch 极大程度降低的搜索开发的难度，除了常规的中文分词、字段检索、布尔语法等功能外，还比其它免费的解决方案提供了用户急需的相关搜索、拼音搜索、结果高亮、搜索建议等等。具体的清单请参见我们的<a href="/misc/goto?guid=4958199199931527889">功能列表</a>。</p>    <p>Xunsearch 真正全面开源，并使用最流行的开源许可协议 GPL 发布。您可以免费获取本项目的全部源代码，自由的使用它，并在许可条件下修改和再分发，具体参见<a href="/misc/goto?guid=4958199200662649670">授权声明</a>文件。</p>    <h3 id="-">特色和优势</h3>    <p>我们追求的最大特色是：<strong>快</strong>，搜索响应快，开发上手快。</p>    <ol>     <li> <p>支持海量数据，高速搜索响应，敬请参见 Xapian 里的 <a href="/misc/goto?guid=4958189836818275402">Scalability</a>。据描述单库最多支持 40 亿条数据，在 500 万网页大约 1.5TB 的数据中，非缓存情况下检索时间不超过 1 秒。</p> </li>     <li> <p>健壮的后端守护程序，内置缓存设计，事件模型基于 libevent。</p> </li>     <li> <p>内置专为搜索而自主开发的 scws 中文分词，搜索效果好，又能保障查全率。</p> </li>     <li> <p>后端采用稳定高效的 C/C++ 开发，前端采用流行的 PHP 脚本语言，堪称最佳组合。</p> </li>     <li> <p>极低的开发难度，接口简单易用，而且文档规范、全面。</p> </li>     <li> <p>与 Lucene, Sphinx 之类相比较，Xunsearch 提供了更丰富而必需的功能，开发周期更短。</p> </li>     <li> <p>功能强大，内置了大量只有商业、大型搜索引擎才提供的功能。支持包括字段检索、结果高亮、字段排序、布尔语法、区间检索、聚合搜索、<strong>相关搜索</strong>、权重微调、<strong>拼音搜索</strong>、<strong>搜索建议</strong>等等专业搜索引擎具备的功能。</p> </li>    </ol>    <h3 id="ch0">1. 应用领域<a class="anchor" name="ch0"></a></h3>    <p>前提是要有一定的 PHP (或其它对应的 SDK 语言) 开发能力，并备有 Unix 类型操作系统的服务器至少一台。</p>    <p>Xunsearch 可以帮助您建立各种行业门户/垂直搜索、BBS 论坛搜索、CMS/Web站内搜索、文档/文献资料检索，以及各种基于现有数据库系统的全文检索。</p>    <h3 id="ch1">2. 历史渊源<a class="anchor" name="ch1"></a></h3>    <p>大约在 2006 年创始人 <a href="/misc/goto?guid=4958199202067340559">hightman</a> 开始了全文检索的相关探索，先是发布了纯 PHP 实现的中文分词代码，之后又推出了 MySQL/MyISAM 全文索引的中文分词补丁 <a href="/misc/goto?guid=4958199202805062700">MyFT</a>。经过一系列不断完善和改进后，于 2007 年正式发布中文分词项目 <a href="/misc/goto?guid=4958199203537763186">scws</a> 并一直维护至今。</p>    <p>起初开发分词的目的就是为了解决中文的全文检索，全文检索技术虽然已经趋于成熟，但多为商业产品。免费开源、并且要好用的还真难找了，于是萌动了自己开发全文检索的念头。2008 年推出了比较粗糙的搜索解决方案 <a href="/misc/goto?guid=4958199204276631059">FTPHP</a>，之后于 2010 年又开启了 <a href="/misc/goto?guid=4958199205007963821">Xungle</a> 项目，直接免去各种技术需求，为用户提供包含软硬环境在内的搜索服务。</p>    <p>在 Xungle 项目的运作过程中，我们发现还有大量的用户出于各种原因，不得不自行解决搜索技术。此外，我们发现了国外一个优秀的开源搜索引擎基础库 <a href="/misc/goto?guid=4958199205745426747">Xapian</a>，它采用 C/C++ 开发，并且性能卓越，久经考验。但是并没有整合中文分词，并且开发难度、复杂度也较大。于是我们下决心整合 Xapian 和 Scws，并在此基础上提供更多、更常用的搜索功能。这就是 <code>Xunsearch</code> ，目前版本发布正在准备中，代码也已托管到 <a href="/misc/goto?guid=4958199206486828133">github</a> 中。</p>    <h3 id="ch2">3. 开发团队<a class="anchor" name="ch2"></a></h3>    <p>本项目由杭州云圣网络科技公司创立并维护，同时也是唯一就 Xunsearch 提供相应的商业技术服务、支持的公司。</p>    <h3 id="ch3">4. 致谢<a class="anchor" name="ch3"></a></h3>    <p>是大量 xungle 用户的提议促使我们开启 xunsearch 项目，Xunsearch 的往后发展将离不开广大用户的支持，还要特别感谢在此其间义务参与 xunsearch 内测的一些朋友。</p>    <p>Xunsearch 底层采用 C/C++ 编写，其中用到了许多其它优秀项目，在线特别感谢它们的团队和作者。主要有以下几个：</p>    <ul>     <li><a href="/misc/goto?guid=4958199205745426747">xapian-core</a> 这是 Xunsearch 的底层索引设计方案</li>     <li><a href="/misc/goto?guid=4958199203537763186">scws</a> 默认内置的中文分词解决方案</li>     <li><a href="/misc/goto?guid=4958199208587875443">libevent</a> 后端服务器的事件处理模型</li>     <li><a href="/misc/goto?guid=4958187734501359851">nginx</a> 搜索服务器的设计借鉴了 nginx 的方式，采用多进程、多线程混合用于处理高并发请求</li>     <li><a href="/misc/goto?guid=4958190863365418330">Yii</a> 非常优秀的 PHP 开发框架，xunsearch 官网采用该框架，文档组织形式也参考自 Yii</li>    </ul>