9大Java开源中文分词器的使用方法和分词效果对比
yn6e
9年前
本文的目标有两个：
1、学会使用9大Java开源中文分词器
2、对比分析9大Java开源中文分词器的分词效果
9大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：
/** * 获取文本的所有分词结果, 对比不同分词器结果 * @author 杨尚川 */ public interface WordSegmenter { /** * 获取文本的所有分词结果 * @param text 文本 * @return 所有的分词结果，去除重复 */ default public Set<String> seg(String text) { return segMore(text).values().stream().collect(Collectors.toSet()); } /** * 获取文本的所有分词结果 * @param text 文本 * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果 */ public Map<String, String> segMore(String text); } 从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。
这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。
在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。
下面我们利用这9大分词器来实现这个接口：
1、word分词器
@Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){ map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm)); } return map; } private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) { StringBuilder result = new StringBuilder(); for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){ result.append(word.getText()).append(" "); } return result.toString(); } 2、Ansj分词器
@Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); StringBuilder result = new StringBuilder(); for(Term term : BaseAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("BaseAnalysis", result.toString()); result.setLength(0); for(Term term : ToAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("ToAnalysis", result.toString()); result.setLength(0); for(Term term : NlpAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("NlpAnalysis", result.toString()); result.setLength(0); for(Term term : IndexAnalysis.parse(text)){ result.append(term.getName()).append(" "); } map.put("IndexAnalysis", result.toString()); return map; } 3、Stanford分词器
private static CRFClassifier<CoreLabel> pkuCRFClassifier = null; private static CRFClassifier<CoreLabel> ctbCRFClassifier = null; static{ try{ String pku = "lib/stanford-segmenter-3.3.1/data/pku.gz"; String ctb = "lib/stanford-segmenter-3.3.1/data/ctb.gz"; //github单文件最大不能超过100m，所以分割文件存放，使用时再合并 //split(pku, 2); //split(ctb, 2); if(!Files.exists(Paths.get(pku))){ merge(pku, pku, 2); } if(!Files.exists(Paths.get(ctb))){ merge(ctb, ctb, 2); } pkuCRFClassifier = getCRFClassifier("pku"); ctbCRFClassifier = getCRFClassifier("ctb"); }catch(Exception e){ e.printStackTrace(); } } private static CRFClassifier<CoreLabel> getCRFClassifier(String lang){ Properties props = new Properties(); props.setProperty("sighanCorporaDict", "lib/stanford-segmenter-3.3.1/data"); props.setProperty("NormalizationTable", "lib/stanford-segmenter-3.3.1/data/norm.simp.utf8"); props.setProperty("normTableEncoding", "UTF-8"); // below is needed because CTBSegDocumentIteratorFactory accesses it props.setProperty("serDictionary","lib/stanford-segmenter-3.3.1/data/dict-chris6.ser.gz"); props.setProperty("inputEncoding", "UTF-8"); props.setProperty("sighanPostProcessing", "true"); final CRFClassifier<CoreLabel> segmenter = new CRFClassifier<>(props); segmenter.loadClassifierNoExceptions("lib/stanford-segmenter-3.3.1/data/"+lang+".gz", props); return segmenter; } private static void split(String file, int splitCount) throws Exception { long length; long size; try (RandomAccessFile raf = new RandomAccessFile(new File(file), "r")) { length = raf.length(); size = length / splitCount; } long offset = 0L; for (int i = 0; i < splitCount - 1; i++){ long fbegin = offset; long fend = (i + 1) * size; offset = write(file, i, fbegin, fend); } if (length - offset > 0){ write(file, splitCount - 1, offset, length); } } private static void merge(String file, String splitFiles, int splitCount) throws Exception { try (RandomAccessFile raf = new RandomAccessFile(new File(file), "rw")) { for (int i = 0; i < splitCount; i++) { try (RandomAccessFile reader = new RandomAccessFile(new File(splitFiles + "_" + i), "r")) { byte[] b = new byte[4096]; int n = -1; while ((n = reader.read(b)) != -1) { raf.write(b, 0, n); } } } } } private static long write(String file, int index, long begin, long end) throws Exception { long endPointer; try (RandomAccessFile in = new RandomAccessFile(new File(file), "r"); RandomAccessFile out = new RandomAccessFile(new File(file + "_" + index), "rw")) { byte[] b = new byte[4096]; int n = 0; in.seek(begin); while (in.getFilePointer() <= end && (n = in.read(b)) != -1) { out.write(b, 0, n); } endPointer = in.getFilePointer(); } return endPointer; } @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("Stanford Beijing University segmentation", seg(pkuCRFClassifier, text)); map.put("Stanford Chinese Treebank segmentation", seg(ctbCRFClassifier, text)); return map; } private static String seg(CRFClassifier<CoreLabel> crfClassifier, String text){ StringBuilder result = new StringBuilder(); for(String word : crfClassifier.segmentString(text)){ result.append(word).append(" "); } return result.toString(); } 4、FudanNLP分词器
private static CWSTagger tagger = null; static{ try{ tagger = new CWSTagger("lib/fudannlp_seg.m"); tagger.setEnFilter(true); }catch(Exception e){ e.printStackTrace(); } } @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("FudanNLP", tagger.tag(text)); return map; } 5、Jieba分词器
private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter(); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("INDEX", seg(text, JIEBA_SEGMENTER, SegMode.INDEX)); map.put("SEARCH", seg(text, JIEBA_SEGMENTER, SegMode.SEARCH)); return map; } public String seg(String text, JiebaSegmenter segmenter, SegMode segMode) { StringBuilder result = new StringBuilder(); for(SegToken token : segmenter.process(text, segMode)){ result.append(token.token).append(" "); } return result.toString(); } 6、Jcseg分词器
private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig(); private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG); static { CONFIG.setLoadCJKSyn(false); CONFIG.setLoadCJKPinyin(false); } @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE)); map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE)); return map; } private String segText(String text, int segMode) { StringBuilder result = new StringBuilder(); try { ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC}); IWord word = null; while((word=seg.next())!=null) { result.append(word.getValue()).append(" "); } } catch (Exception ex) { throw new RuntimeException(ex); } return result.toString(); } 7、MMSeg4j分词器
private static final Dictionary DIC = Dictionary.getInstance(); private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC); private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC); private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG)); map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG)); map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG)); return map; } private String segText(String text, Seg seg) { StringBuilder result = new StringBuilder(); MMSeg mmSeg = new MMSeg(new StringReader(text), seg); try { Word word = null; while((word=mmSeg.next())!=null) { result.append(word.getString()).append(" "); } } catch (IOException ex) { throw new RuntimeException(ex); } return result.toString(); } 8、IKAnalyzer分词器
@Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("智能切分", segText(text, true)); map.put("细粒度切分", segText(text, false)); return map; } private String segText(String text, boolean useSmart) { StringBuilder result = new StringBuilder(); IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart); try { Lexeme word = null; while((word=ik.next())!=null) { result.append(word.getLexemeText()).append(" "); } } catch (IOException ex) { throw new RuntimeException(ex); } return result.toString(); } 9、Paoding分词器
private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer(); @Override public Map<String, String> segMore(String text) { Map<String, String> map = new HashMap<>(); map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE)); map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE)); return map; } private static String seg(String text, int mode){ ANALYZER.setMode(mode); StringBuilder result = new StringBuilder(); try { Token reusableToken = new Token(); TokenStream stream = ANALYZER.tokenStream("", new StringReader(text)); Token token = null; while((token = stream.next(reusableToken)) != null){ result.append(token.term()).append(" "); } } catch (Exception ex) { throw new RuntimeException(ex); } return result.toString(); } 现在我们已经实现了本文的第一个目的：学会使用9大Java开源中文分词器。
最后我们来实现本文的第二个目的：对比分析9大Java开源中文分词器的分词效果，程序如下：
public static Map<String, Set<String>> contrast(String text){ Map<String, Set<String>> map = new LinkedHashMap<>(); map.put("word分词器", new WordEvaluation().seg(text)); map.put("Stanford分词器", new StanfordEvaluation().seg(text)); map.put("Ansj分词器", new AnsjEvaluation().seg(text)); map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text)); map.put("Jieba分词器", new JiebaEvaluation().seg(text)); map.put("Jcseg分词器", new JcsegEvaluation().seg(text)); map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text)); map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text)); map.put("Paoding分词器", new PaodingEvaluation().seg(text)); return map; } public static Map<String, Map<String, String>> contrastMore(String text){ Map<String, Map<String, String>> map = new LinkedHashMap<>(); map.put("word分词器", new WordEvaluation().segMore(text)); map.put("Stanford分词器", new StanfordEvaluation().segMore(text)); map.put("Ansj分词器", new AnsjEvaluation().segMore(text)); map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text)); map.put("Jieba分词器", new JiebaEvaluation().segMore(text)); map.put("Jcseg分词器", new JcsegEvaluation().segMore(text)); map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text)); map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text)); map.put("Paoding分词器", new PaodingEvaluation().segMore(text)); return map; } public static void show(Map<String, Set<String>> map){ map.keySet().forEach(k -> { System.out.println(k + " 的分词结果："); AtomicInteger i = new AtomicInteger(); map.get(k).forEach(v -> { System.out.println("\t" + i.incrementAndGet() + " 、" + v); }); }); } public static void showMore(Map<String, Map<String, String>> map){ map.keySet().forEach(k->{ System.out.println(k + " 的分词结果："); AtomicInteger i = new AtomicInteger(); map.get(k).keySet().forEach(a -> { System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" + map.get(k).get(a)); }); }); } public static void main(String[] args) { show(contrast("杨尚川是APDPlat应用级产品开发平台的作者")); showMore(contrastMore("杨尚川是APDPlat应用级产品开发平台的作者")); } 运行结果如下：
word分词器 的分词结果： 1 、杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 2 、杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 Stanford分词器 的分词结果： 1 、杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 2 、杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 Ansj分词器 的分词结果： 1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 2 、杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 FudanNLP分词器 的分词结果： 1 、杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者 Jieba分词器 的分词结果： 1 、杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 2 、杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 Jcseg分词器 的分词结果： 1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 2 、杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 MMSeg4j分词器 的分词结果： 1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 IKAnalyzer分词器 的分词结果： 1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 Paoding分词器 的分词结果： 1 、杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
word分词器 的分词结果： 1 、【全切分算法】 杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 2 、【双向最大最小匹配算法】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 3 、【正向最大匹配算法】 杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 4 、【双向最大匹配算法】 杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 5 、【逆向最大匹配算法】 杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 6 、【正向最小匹配算法】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 7 、【双向最小匹配算法】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 8 、【逆向最小匹配算法】 杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 Stanford分词器 的分词结果： 1 、【Stanford Chinese Treebank segmentation】 杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 2 、【Stanford Beijing University segmentation】 杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 Ansj分词器 的分词结果： 1 、【BaseAnalysis】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 2 、【IndexAnalysis】 杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 3 、【ToAnalysis】 杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 4 、【NlpAnalysis】 杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 FudanNLP分词器 的分词结果： 1 、【FudanNLP】 杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者 Jieba分词器 的分词结果： 1 、【SEARCH】 杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 2 、【INDEX】 杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 Jcseg分词器 的分词结果： 1 、【简易模式】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 2 、【复杂模式】 杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 MMSeg4j分词器 的分词结果： 1 、【SimpleSeg】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 2 、【ComplexSeg】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 3 、【MaxWordSeg】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 IKAnalyzer分词器 的分词结果： 1 、【智能切分】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 2 、【细粒度切分】 杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 Paoding分词器 的分词结果： 1 、【MAX_WORD_LENGTH_MODE】 杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者 2 、【MOST_WORDS_MODE】 杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
完整代码看这里 来自：