`
奔跑的羚羊
  • 浏览: 570767 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

分类Classification-维基百科例子(Wikipedia Bayes Example)

阅读更多
介绍
这个Mahout例子的源码来自一个分类维基百科数据的导出工具,可以Naive贝叶斯或者附加的 Naive贝叶斯在Mahout的实现。下面将描述这个例子,导出维基的数据,然后分类到不同的块。这些块是根据国家进一步分类的。根据这些分割,分离器训练使能够预测,一个未曾看到过的文章被分类到那个国家。

运行例子
1.下载维基百科数据

2.解压文件,得到enwiki-latest-pages-articles.xml

3.创建目录$MAHOUT_HOME/examples/temp,拷贝这个xml到这里

4.牵出数据
$MAHOUT_HOME/bin/mahout wikipediaXMLSplitter -d $MAHOUT_HOME/examples/temp/enwiki-latest-pages-articles10.xml -o wikipedia/chunks -c 64

我们强烈的建议,备份这个结果到另外一个目录,这样下次就不需要同样操作这个步骤如果发生意外情况

5.创建chunks到HDFS,进行如下核实
hadoop fs -ls wikipedia/chunks

将列出所有的文件,如chunk-0001.xml...

6.基于分割的维基百科数据,创建国家
$MAHOUT_HOME/bin/mahout  wikipediaDataSetCreator  -i wikipedia/chunks -o wikipediainput -c $MAHOUT_HOME/examples/src/test/resources/country.txt


7.验证创造出的数据
hadoop fs -ls wikipediainput 

你将能够看到part-r-00000这个文件

8.Train分离器
$MAHOUT_HOME/bin/mahout trainclassifier -i wikipediainput -o wikipediamodel

这个模型文件将能够从HDFS上的wikipediamodel目录获取到

9.Test分离器
$MAHOUT_HOME/bin/mahout testclassifier -m wikipediamodel -d wikipediainput



原文连接:https://cwiki.apache.org/confluence/display/MAHOUT/Wikipedia+Bayes+Example
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics