关于几种中文分词的比对

目前lucene自身提供的StandardAnalyzer已经具备中文分词的功能，但是不一定能够满足大多数应用的需要。 

另外网友谈的比较多的中文分词器还有： 

CJKAnalyzer 

ChineseAnalyzer 

IK_CAnalyzer（MIK_CAnalyzer） 

还有一些热心网友自己写的比较不错的分词器在此就不说了，有兴趣的可以自己研究研究。 

以上三个中文分词器并不是lucene2.2.jar里提供的。 

CJKAnalyzer和ChineseAnalyzer分别是lucene-2.2.0目录下contrib目录下analyzers的lucene-analyzers-2.2.0.jar提供的。分别位于cn和cjk目录。 

IK_CAnalyzer（MIK_CAnalyzer）是基于分词词典，目前最新的1.4版本是基于lucene2.0开发的。以上分词器各有优劣，比较如下： 

import   java.io.Reader; 

import   java.io.StringReader; 

import   org.apache.lucene.analysis.Analyzer; 

import   org.apache.lucene.analysis.StopFilter; 

import   org.apache.lucene.analysis.Token; 

import   org.apache.lucene.analysis.TokenFilter; 

import   org.apache.lucene.analysis.TokenStream; 

import   org.apache.lucene.analysis.cjk.CJKAnalyzer; 

import   org.apache.lucene.analysis.cn.ChineseAnalyzer; 

import   org.apache.lucene.analysis.standard.StandardAnalyzer; 

import   org.mira.lucene.analysis.IK_CAnalyzer; 

import   org.mira.lucene.analysis.MIK_CAnalyzer; 

 

public   class   All_Test   { 

          private   static   String   string   =   "中华人民共和国在1949年建立，从此开始了新中国的伟大篇章。 "; 

          public   static   void   Standard_Analyzer(String   str)   throws   Exception{ 

                        Analyzer   analyzer   =   new   StandardAnalyzer();                   

                        Reader   render   =   new   StringReader(str);                   

                        StopFilter   stopFilter   =   (StopFilter)   analyzer.tokenStream( " ",   render  ); 

                        System.out.println( "=====StandardAnalyzer==== "); 

                        System.out.println( "分析方法：默认没有词只有字（一元分词） "); 

                        Token   token;                   

                      while   ((token   =   stopFilter.next())   !=   null)   {                   

                                    System.out.println(token.termText());                   

                        }               

            } 

          public   static   void   CJK_Analyzer(String   str)   throws   Exception{ 

                        Analyzer   analyzer   =   new   CJKAnalyzer();                   

                        Reader   render   =   new   StringReader(str);                   

                        StopFilter   stopFilter   =   (StopFilter)   analyzer.tokenStream( " ",   render); 

                        System.out.println( "=====CJKAnalyzer==== "); 

                        System.out.println( "分析方法:交叉双字分割（二元分词） "); 

                        Token   token;                   

                      while   ((token   =   stopFilter.next())   !=   null)   {                   

                                    System.out.println(token.termText());                   

                        }                

            } 

          public   static   void   Chiniese_Analyzer(String   str)   throws   Exception{ 

                        Analyzer   analyzer   =   new   ChineseAnalyzer();                   

                        Reader   render   =   new   StringReader(str);                   

                        TokenFilter   tokenFilter   =   (TokenFilter)   analyzer.tokenStream( " ",   render); 

                        System.out.println( "=====chinese   analyzer==== "); 

                        System.out.println( "分析方法:基本等同StandardAnalyzer（一元分词） "); 

                        Token   token;                   

                      while   ((token   =   tokenFilter.next())   !=   null)   {                   

                                    System.out.println(token.termText());                   

                        }               

            } 

          public   static   void   ik_CAnalyzer(String   str)   throws   Exception{ 

//                     Analyzer   analyzer   =   new   MIK_CAnalyzer(); 

                        Analyzer   analyzer   =   new   IK_CAnalyzer(); 

                        Reader   reader   =   new   StringReader(str);   

                        TokenStream   tokenStream   =   (TokenStream)analyzer.tokenStream( " ",   reader); 

                        System.out.println( "=====IK_CAnalyzer==== "); 

                        System.out.println( "分析方法:字典分词,正反双向搜索 "); 

                        Token   token;         

                      while   ((token   =   tokenStream.next())   !=   null)   {         

                                  System.out.println(tokenStream.termText());         

                        }         

            } 

          public   static   void   main(String[]   args)   throws   Exception{ 

                        String   str   =   string; 

                        System.out.println( "我们测试的字符串是： "+str); 

 

                        Standard_Analyzer(str); 

                        CJK_Analyzer(str); 

                        Chiniese_Analyzer(str); 

                        ik_CAnalyzer(str); 

            } 

 

} 

分词结果如下： 

我们测试的字符串是：中华人民共和国在1949年建立，从此开始了新中国的伟大篇章。 

=====StandardAnalyzer==== 

分析方法：默认没有词只有字（一元分词） 

中 

华 

人 

民 

共 

和 

国 

在 

1949 

年 

建 

立 

从 

此 

开 

始 

了 

新 

中 

国 

的 

伟 

大 

篇 

章 

=====CJKAnalyzer==== 

分析方法:交叉双字分割（二元分词） 

中华 

华人 

人民 

民共 

共和 

和国 

国在 

1949 

年建 

建立 

从此 

此开 

开始 

始了 

了新 

新中 

中国 

国的 

的伟 

伟大 

大篇 

篇章 

=====chinese   analyzer==== 

分析方法:基本等同StandardAnalyzer（一元分词） 

中 

华 

人 

民 

共 

和 

国 

在 

年 

建 

立 

从 

此 

开 

始 

了 

新 

中 

国 

的 

伟 

大 

篇 

章 

=====IK_CAnalyzer==== 

分析方法:字典分词,正反双向搜索 

中华人民共和国 

中华人民 

中华 

华人 

人民共和国 

人民 

人 

共和国 

共和 

1949年 

建立 

从此 

开始 

新中国 

中国 

伟大 

大篇 

篇章 

如果   ik_CAnalyzer(String   str)   里采用 

Analyzer   analyzer   =   new   MIK_CAnalyzer(); 

那么该方法的分词结果是： 

 

中华人民共和国 

1949年 

建立 

从此 

开始 

新中国 

伟大 

大篇 

篇章 

 

可以看到各种分词结果各不相同，根据应用的需要可以选择合适的分词器。 

关于IKAnalyzer的介绍可以参考： 

http://blog.csdn.net/dbigbear/archive/2007/01/24/1492380.aspx

http://topic.csdn.net/u/20070714/13/84db902a-9128-4b1b-8dd8-a631f15db931.html

 

 

//测试"庖丁解牛"中文分词器的分词效果     

    public class PaodingAnalyzer { 

        public static void main(String[] args) throws Exception { 

            Analyzer analyzer = new PaodingAnalyzer(); 

            String  indexStr = "我的QQ号码是38334641"; 

            StringReader reader = new StringReader(indexStr); 

            TokenStream ts = analyzer.tokenStream(indexStr, reader); 

            Token t = ts.next(); 

            while (t != null) { 

                System.out.print(t.termText()+"  "); 

                t = ts.next(); 

            } 

        } 

    } 

分词结果:我的  qq  号码  38334641   

如果把indexStr换成是"中华人民共和国万岁" ,那么分词结果为: 

中华  华人  人民  共和  共和国  万岁