论坛首页 Java企业应用论坛

发布IK Analyzer 3.0 中文分词器

浏览 64760 次
该帖已经被评为精华帖
作者 正文
   发表时间:2009-09-09  
yonglin4605 写道
这个示例太简单了,能不能再加一个复杂一点的
比如,我数据库中有2000条记录,是不是我要把他全部取到内存里缓存起来,
然后用IKAnalyzer来搜索?、
每条记录都有十几个字段,是每个字段对应一个Field实例吗?那不是要塞几万个实例进去了?

还是希望能给个结合数据库示例,谢谢


用内存???你是怎么想的啊,Lucene是文档型数据库啊,内存索引只是一个缓存策略啊,建议把Lucene先自学一边把吧
0 请登录后投票
   发表时间:2009-09-17  
在nutch中怎样使用?
0 请登录后投票
   发表时间:2009-09-17  
wzjin 写道
在nutch中怎样使用?


跟Lucene自带的分词器没有区别啊。
0 请登录后投票
   发表时间:2009-09-21  
linliangyi2007 写道
wzjin 写道
在nutch中怎样使用?


跟Lucene自带的分词器没有区别啊。

nutch中的分词是采用插件的方式处理的,和Lucene中使用还是不一样,你能不能做个实例看看啊!毕竟nutch已经是个应用了,直接部署就可以运行。
0 请登录后投票
   发表时间:2009-09-21  
wzjin 写道
linliangyi2007 写道
wzjin 写道
在nutch中怎样使用?


跟Lucene自带的分词器没有区别啊。

nutch中的分词是采用插件的方式处理的,和Lucene中使用还是不一样,你能不能做个实例看看啊!毕竟nutch已经是个应用了,直接部署就可以运行。



参考这篇文章吧:http://hi.baidu.com/zhumulangma/blog/item/a27284b161d4b35c0823021a.html/cmtid/6d22a9ec7409e836279791c9
0 请登录后投票
   发表时间:2009-09-21  
linliangyi2007 写道
wzjin 写道
linliangyi2007 写道
wzjin 写道
在nutch中怎样使用?


跟Lucene自带的分词器没有区别啊。

nutch中的分词是采用插件的方式处理的,和Lucene中使用还是不一样,你能不能做个实例看看啊!毕竟nutch已经是个应用了,直接部署就可以运行。



参考这篇文章吧:http://hi.baidu.com/zhumulangma/blog/item/a27284b161d4b35c0823021a.html/cmtid/6d22a9ec7409e836279791c9


回复真快,我要是使用一定会资助你,开源的需要我们大家支持!
0 请登录后投票
   发表时间:2009-10-14  
linliangyi2007 写道
nvgui 写道
rongxh7 写道
linliangyi2007 写道
sunjun 写道
new IKAnalyzer();
jdk5.0 jdk6.0下都报一个错

java.lang.UnsupportedClassVersionError: Bad version number in .class file
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:620)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:124)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:260)
at java.net.URLClassLoader.access$100(URLClassLoader.java:56)
at java.net.URLClassLoader$1.run(URLClassLoader.java:195)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:268)
at java.lang.ClassLoader.loadClass(ClassLoader.java:251)
at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:319)
Exception in thread "main"


你是不是用的是Eclipse里面的jdk版本不多啊。别急,排查一下系统环境吧,包括你是不是装了oracle之后,默认jdk的路径被改了。。。。
从错误上看,就是版本不支持造成的


我也遇到同样的问题.我是在Eclipse里做的,后来发现用的是JDK5,改成JDK6,重编译一下,就行了!



只支持jdk6????


不是只支持jdk6,是IKAnalyzer.jar用jdk6编译的,如果你使用5的话,需要自己下载源码编译。



哪里可以下载到3.0的源代码? SVN的地址是什么?
0 请登录后投票
   发表时间:2009-10-14  
欢迎有空看一下鄙人的分词组件(支持Java和Python):http://code.google.com/p/smallseg/

System.out.println(seg.cut("日照香炉生紫烟,遥看瀑布挂前川。飞流直下三千尺,疑是银河落九天。"));
System.out.println(seg.cut("伊藤洋华堂总府店"));
System.out.println(seg.cut("永和服装饰品有限公司"));

r:[日照, 香炉, 瀑布, 飞流, 直下, 疑是, 银河, 落九天]
u:[生紫烟, 紫烟, 遥看, 挂前川, 前川, 三千尺, 千尺]
r:[洋华堂]
u:[伊藤, 总府店, 府店]
r:[永和, 服装, 饰品, 有限, 公司]
u:[]

0 请登录后投票
   发表时间:2009-10-14  
fxsjy 写道
欢迎有空看一下鄙人的分词组件(支持Java和Python):http://code.google.com/p/smallseg/

System.out.println(seg.cut("日照香炉生紫烟,遥看瀑布挂前川。飞流直下三千尺,疑是银河落九天。"));
System.out.println(seg.cut("伊藤洋华堂总府店"));
System.out.println(seg.cut("永和服装饰品有限公司"));

r:[日照, 香炉, 瀑布, 飞流, 直下, 疑是, 银河, 落九天]
u:[生紫烟, 紫烟, 遥看, 挂前川, 前川, 三千尺, 千尺]
r:[洋华堂]
u:[伊藤, 总府店, 府店]
r:[永和, 服装, 饰品, 有限, 公司]
u:[]




先支持一把
0 请登录后投票
   发表时间:2009-10-14  
vincentwah 写道
linliangyi2007 写道
nvgui 写道
rongxh7 写道
linliangyi2007 写道
sunjun 写道
new IKAnalyzer();
jdk5.0 jdk6.0下都报一个错

java.lang.UnsupportedClassVersionError: Bad version number in .class file
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:620)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:124)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:260)
at java.net.URLClassLoader.access$100(URLClassLoader.java:56)
at java.net.URLClassLoader$1.run(URLClassLoader.java:195)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:268)
at java.lang.ClassLoader.loadClass(ClassLoader.java:251)
at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:319)
Exception in thread "main"


你是不是用的是Eclipse里面的jdk版本不多啊。别急,排查一下系统环境吧,包括你是不是装了oracle之后,默认jdk的路径被改了。。。。
从错误上看,就是版本不支持造成的


我也遇到同样的问题.我是在Eclipse里做的,后来发现用的是JDK5,改成JDK6,重编译一下,就行了!



只支持jdk6????


不是只支持jdk6,是IKAnalyzer.jar用jdk6编译的,如果你使用5的话,需要自己下载源码编译。



哪里可以下载到3.0的源代码? SVN的地址是什么?


http://ik-analyzer.googlecode.com/svn/trunk/
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics