MapReduce程式调用第三方包和本地库
-------------------------
问题:
在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。
解决方法介绍:
我们知道,在Hadoop中有一个叫做DistributedCache的东东,它是用来分发应用特定的只读文件和一个jar包的,以供Map-Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者是把第三方jar包添加到其classpath路径中去,要注意的是DistributedCache的使用是有一个前提的,就它会认为这些通过urls来表示的文件已经在hdfs文件系统里面,所以这里在使用的时候第一步就是要把这些文件上传到HDFS中。
然后Hadoop框架会把这些应用所需要的文件复制到每个准备启动的节点上去,它会把这些复制到mapred.temp.dir配置的目录中去,以供相应的Task节点使用。
这里要注意的DistriubtedCache分发的文件分成公有与私有文件,公有文件可以给HDFS中的所有用户使用,而私有文件只能被特定的用户所使用,用户可以配置上传文件的访问权限来达到这种效果。
DistributeCache的使用一般分成三步:
1. 配置应用程序的cache,把需要使用的文件上传到DFS中去
[html] view plaincopy
$ bin/hadoop fs -copyFromLocal lookup.dat /myapp/lookup.dat
$ bin/hadoop fs -copyFromLocal map.zip /myapp/map.zip
$ bin/hadoop fs -copyFromLocal mylib.jar /myapp/mylib.jar
$ bin/hadoop fs -copyFromLocal mytar.tar /myapp/mytar.tar
$ bin/hadoop fs -copyFromLocal mytgz.tgz /myapp/mytgz.tgz
$ bin/hadoop fs -copyFromLocal mytargz.tar.gz /myapp/mytargz.tar.gz
2. 配置JobConf
[html] view plaincopy
JobConf job = new JobConf();
DistributedCache.addCacheFile(new URI("/myapp/lookup.dat#lookup.dat"),job); // 这里的lookup.dat加了一个符号连接
DistributedCache.addCacheArchive(new URI("/myapp/map.zip", job);
DistributedCache.addFileToClassPath(new Path("/myapp/mylib.jar"), job); // 这里是把相应的jar包加到Task的启动路径上去
DistributedCache.addCacheArchive(new URI("/myapp/mytar.tar", job);
DistributedCache.addCacheArchive(new URI("/myapp/mytgz.tgz", job);
DistributedCache.addCacheArchive(new URI("/myapp/mytargz.tar.gz", job);
3. 在Mapper或者Reducer任务中使用这些文件
[html] view plaincopy
public static class MapClass extends MapReduceBase
implements Mapper<K, V, K, V> {
private Path[] localArchives;
private Path[] localFiles;
public void configure(JobConf job) {
// Get the cached archives/files
localArchives = DistributedCache.getLocalCacheArchives(job); // 得到本地打包的文件,一般是数据文件,如字典文件
localFiles = DistributedCache.getLocalCacheFiles(job); // 得到本地缓冲的文件,一般是配置文件等
}
public void map(K key, V value,
OutputCollector<K, V> output, Reporter reporter)
throws IOException {
// Use data from the cached archives/files here
// ...
// ...
output.collect(k, v);
}
}
使用新的MP接口要注意的地方:
1. 我们知道,新的MP接口使用了Job这个类来对MP任务进行配置,这里使用的时候要注意一点
Configuration conf = new Configuration();
// 对conf加入配置信息 - 正确方法
Job job = new Job(conf,"word count");
// 对conf加入配置信息 - 这是有问题的,这些配置不会生效,因为这里生成Job的时候它会对conf进行复制,这个看一下Job的源代码就知道。
// 这里可以用job.getConfiguration()来得到其内部的conf对象,这样就不会有问题。
2. 如果你在启动MP任务之前调用了第三方jar包的类,那这就会有问题,会在启动任务的时候找不到这个类。这个问题我还没有找到好的解决办法,一个办法就是把这些类想办法移到MP任务中,如果有朋友知道更加好的办法,请告诉我一下,多谢了。我感觉Nutch中也会有同样的问题,什么时候研究一下Nutch的代码,说不定会有很多关于Hadoop方面的收获。
参考:
1. http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/filecache/DistributedCache.html
2. http://hadoop.apache.org/common/docs/current/mapred_tutorial.html#IsolationRunner
分享到:
相关推荐
3. **性能优化**:在实践中,我们还需要考虑如何优化MapReduce作业,包括合理使用Combiner减少网络传输,设置合适的分区策略以平衡负载,以及使用本地化数据处理来提升效率。 4. **错误处理和调试**:MapReduce作业...
eclipse的运行结果框跑MR,压缩包里面有截图教程和...将jar包和其他配置文件根据教程放好,配好环境变量,就可以在eclipse的console框里面本地跑mapreduce,本人和很多同学都用的这个办法,刚开始测代码的时候很好用。
3. **MapReduce的Native Libraries**:MapReduce的本地库包括libhadoop和libhdfs等,这些库支持多线程和并行计算,进一步优化了数据处理速度。 4. **Glibc Compatibility**:64位的本地库通常会依赖于64位版本的GNU...
MapReduce是一种分布式计算模型,由Google开发,用于处理和生成大量数据。这个模型主要由两个主要阶段组成:Map(映射)和Reduce(规约)。MapReduce的核心思想是将复杂的大规模数据处理任务分解成一系列可并行执行...
这个"hadopp学习本地win测试mapreduce程序,所要用到的环境软件.rar"压缩包文件包含了实现这一目标所需的关键组件和工具。下面,我们将详细探讨这些知识点。 1. Hadoop:Hadoop是Apache基金会开源的一个分布式计算...
- **性能优化**:通过合理设计Map和Reduce函数,以及利用数据本地性原则,MapReduce能够实现高效的数据处理速度,即使在处理PB级别的数据时也游刃有余。 #### 四、MapReduce的应用实例 MapReduce的应用领域非常...
3. **MapReduce Native Libraries**:这些库提高了MapReduce任务的执行效率,例如,通过使用本地排序和合并算法来减少Java虚拟机(JVM)的开销。 4. **Avro Native**:Avro是Hadoop生态系统中的一个数据序列化系统...
通过在MyEclipse中实现MapReduce,不仅可以加深对Hadoop和MapReduce的理解,还能提升Java编程和问题解决能力。这是一项实践性强、挑战性大的工作,但只要保持耐心和积极探索,就能在这个资源丰富的时代获得宝贵的...
这些库包含C和C++编写的代码,实现了Java无法直接访问的系统调用,例如内存管理、线程调度以及与硬件的交互。对于CentOS系统,这些本地库需要特别编译以确保与系统的兼容性。 编译Hadoop源代码是一个复杂的过程,...
在这个场景中,我们将讨论如何使用Hadoop的MapReduce来实现词统计和列式统计。 **一、MapReduce原理** MapReduce的工作流程主要包括三个主要阶段:Map、Shuffle(排序)和Reduce。在Map阶段,输入数据被分割成多个...
基于MapReduce的气候数据分析 是一个旨在通过大数据处理技术深入理解和分析气候数据的研究课题。该课题利用MapReduce编程模型,针对包括温度、湿度、风速等在内的多种气象参数进行处理,以应对传统方法在处理大规模...
本篇文章将详细探讨MapReduce如何使用Gzip、Snappy和Lzo这三种压缩算法来写入和读取文件。 1. Gzip压缩 Gzip是一种广泛使用的压缩算法,其压缩率较高,但压缩和解压缩速度相对较慢。在MapReduce中,通过设置`...
实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 首先,实验启动了Hadoop集群的所有守护进程,包括NameNode(主节点,负责元数据管理)、DataNode(存储数据的节点)、...
在Hadoop MapReduce中,服务器间的通信主要依赖于远程过程调用(RPC)机制。具体来说: - 客户端通过RPC接口向作业服务器提交作业。 - 作业服务器通过RPC接口分配任务给任务服务器。 - 任务服务器通过RPC接口向作业...
MapReduce是一种分布式计算模型,由Google在2004年提出,主要用于处理和生成大规模数据集。它将复杂的并行计算任务分解成两个主要阶段:Map(映射)和Reduce(化简)。在这个"MapReduce项目 数据清洗"中,我们将探讨...
- **MapReduce库的扩展**:通过自定义InputFormat、OutputFormat、Partitioner和Comparator,可以适应不同的数据源和格式,以及自定义数据分区和排序策略。 - **多路归并(Multiple Reducers)**:使用多个Reducer...
MapReduce的设计灵感来源于Lisp和其他函数式语言中的`map`和`reduce`原语。其工作流程可以分为两个阶段:`map`操作和`reduce`操作。 - **`map`操作**:对输入数据集中的每个逻辑记录应用`map`函数,计算出一系列...
- **不适合迭代计算**:MapReduce不支持迭代式的算法,这限制了其在某些复杂数据分析场景中的应用。 - **内存管理**:虽然MapReduce能够处理大规模数据,但在处理特别大的数据集时可能会遇到内存不足的问题。 综上...
3. MapReduce框架在决策树算法中的应用:MapReduce框架可以对大规模数据进行并行处理,使得决策树算法的计算速度和效率大大提高。在基于MapReduce实现决策树算法中,MapReduce框架可以对输入数据进行分区和处理,...
包含hadoop-2.6.5.tar.gz、hadoop.dll、winutils.exe三个文件,下载地址为百度云