删除重复数据的工具 Duke

     <div id="p_fullcontent" class="detail">     <p>Duke 是一个快速灵活的去除重复数据的引擎，基于 <a href="http://www.open-open.com/lib/view/open1325236004827.html">Lucene</a> 开发，普通笔记本电脑可以在 11 分钟内处理完 100 万条记录。</p>     <p>下图是 Duke 的架构：</p>     <p><img style="width:689px;height:409px;" alt="删除重复数据的工具 Duke" src="https://simg.open-open.com/show/b4b6229be09a75ef808e49477354d753.png" /><br /> <br /> </p>     <p><strong>项目主页：</strong><a href="http://www.open-open.com/lib/view/home/1326511892858" target="_blank">http://www.open-open.com/lib/view/home/1326511892858</a></p>    </div>