`

访问hadoop数据时注意相对路径问题

 
阅读更多

今天在nutch配置分布式搜索时出现搜索不到結果,背景是:

用hadoop账号建立了索引,但使用xx账号时搜索不到。奇怪的是我在mr plugin下,使用xx账号却可以访问正常。

 

刚开始以为是conf下文件不对,但后来将整个tomcat布署在hadoop下却有結果,所以判断不是配置问题。

转而怀疑是不同账号hadoop平台有没有做限制。如果是真的,为什么mr plugin下可以访问正常?

原来,plugin下是先连上,然后通过点击目录来访问files;

然而在nutch-site.xml下我使用了相对路径,crawl/xxx,这样访问时hadoop会以当前user name为开始的相对目录下查找。

如之前的就变成/user/hadoop下查找,如果在xx用户下,就变成了/user/xx/xxx了,当然找不到了。但同时觉得奇怪,nutch端搜索时根本没有报异常,所以开始找了很久。。。

 

这说明hadoop自己本身维护了一个"mini"型的权限认证,限制误操作。但如果通过刚才说的(mr plugin)来遍历的话,还是可以访问到的。

 

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics