转载请注明出处:http://www.codelast.com/
现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。
下面就详细地描述一下新旧API的用法区别以及解决办法。
『1』旧API
将HDFS文件添加到distributed cache中:
1
2
|
Configuration conf = job.getConfiguration(); DistributedCache.addCacheFile( new URI(inputFileOnHDFS), conf); // add file to distributed cache
|
其中,inputFileOnHDFS是一个HDFS文件的路径,也就是你要用作distribute cache的文件的路径,例如 /user/codelast/123.txt
在mapper的setup()方法中:
1
2
3
|
Configuration conf = context.getConfiguration(); Path[] localCacheFiles = DistributedCache.getLocalCacheFiles(conf); readCacheFile(localCacheFiles[ 0 ]);
|
其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):
1
2
3
4
5
6
7
8
|
private static void readCacheFile(Path cacheFilePath) throws IOException {
BufferedReader reader = new BufferedReader( new FileReader(cacheFilePath.toUri().getPath()));
String line;
while ((line = reader.readLine()) != null ) {
//TODO: your code here
}
reader.close();
} |
文章来源:http://www.codelast.com/
『2』新API
上面的代码中,addCacheFile() 方法和 getLocalCacheFiles() 都已经被Hadoop 2.x标记为 @Deprecated 了。
因此,有一套新的API来实现同样的功能,这个链接里有示例,我在这里再详细地写一下。
将HDFS文件添加到distributed cache中:
1
|
job.addCacheFile( new Path(inputFileOnHDFS).toUri());
|
在mapper的setup()方法中:
1
2
3
|
Configuration conf = context.getConfiguration(); URI[] localCacheFiles = context.getCacheFiles(); readCacheFile(localCacheFiles[ 0 ]);
|
其中,readCacheFile()是我们自己的读取cache文件的方法,可能是这样做的(仅举个例子):
1
2
3
4
5
6
7
8
|
private static void readCacheFile(URI cacheFileURI) throws IOException {
BufferedReader reader = new BufferedReader( new FileReader(cacheFileURI.getPath()));
String line;
while ((line = reader.readLine()) != null ) {
//TODO: your code here
}
reader.close();
} |
但是就像文章开头的那个链接里所描述的问题一样,你可能会发现 context.getCacheFiles() 总是返回null,也就是你无法读到cache文件。
这个问题有可能是这个bug造成的,你可以对比一下你的Hadoop版本。
文章来源:http://www.codelast.com/
『3』解决办法
(1)打patch
(2)升级Hadoop版本
(3)使用旧的DistributedCache API,经测试OK
相关推荐
Hadoop2.6版本稳定版API文档CHM文件
hadoop中文版API.chm文件,查找hadoop的类中方法、方法的用法等,方便、好用
赠送jar包:hadoop-yarn-api-2.5.1.jar;...使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
Hadoop1.0.0权威API参考
hadoop api hadoop apihadoop api hadoop api hadoop api
使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。 双语对照,边学技术、边学英语。
使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。 双语对照,边学技术、边学英语。
hadoop 中文版 API!!欢迎下载参考。。。。。。。。。
Hadoop是Apache Lucene的创始人 Doung Cutting 创建的, Hadoop起源于Apache Nutch, 一个开源的网络搜索引擎,也是Apache的Lucene项目的一部分。Hadoop是创始人Doung Cutting的儿子给一头大象起的名字。 Hadoop的子...
教你如何查看API及使用hadoop新api编程
使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。 双语对照,边学技术、边学英语。
教你如何查看API及使用hadoop新api编程 高清完整版PDF下载
hadoop2.6-api.zip,直接解压就能用,index直接打开就行
Hadoop 2.10.0中文版API
赠送jar包:hadoop-yarn-client-2.6.5.jar;...使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。
hadoop filesystem api常见使用说明
hadoop0.23.9离线api,解压后进入 doc 目录 ,双击 index.html 和javaapi一样 All Classes Packages org.apache.hadoop org.apache.hadoop.classification org.apache.hadoop.conf org.apache.hadoop.contrib....
Hadoop API帮助文档,学习Nutch和Hadoop必备
hadoop 2.7.2 chm 英文整理
开源分布式架构Hadoop 0.20.2版的Java API文档,使用Hadoop都需要它