from http://hi.baidu.com/adamsi/blog/item/7415adef32fb121ffcfa3cd9.html
写过Hadoop程序的人都知道,引用第三方的jar是个麻烦事情。这里我介绍一个方法,可以用ant脚本把自己的代码类和所有的第三方jar都打包到一个jar中,然后就能用hadoop jar xxx.jar来运行整个程序。
对应的ant任务描述如下,百度空间贴代码不容易,我就不缩进了,大家谅解。
<target name="hadoop-jar" depends="compile" description="Create binary distribution">
<!-- 首先,我们把所有的第三方jar都复制到build/lib目录中 -->
<copy todir="${path.build.classes}/lib">
<fileset dir="lib">
<include name="**/*.jar"/>
<!-- 因为hadoop-*-core.jar在hadoop系统中已经有了,我们就不对其打包了 -->
<exclude name="**/hadoop-*-core.jar"/>
</fileset>
</copy>
<!-- 列出所有jar文件的名字,并生成一个有效的classpath字符串,放在hadoop-jar.classpath中 -->
<pathconvert property="hadoop-jar.classpath" pathsep=" ">
<regexpmapper from="^(.*)/lib/(.*\.jar)$" to="lib/\2" />
<path>
<fileset dir="${path.build.classes}/lib">
<include name="**/*.jar" />
</fileset>
</path>
</pathconvert>
<!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 -->
<manifest file="MANIFEST.MF">
<attribute name="Class-Path" value="${hadoop-jar.classpath}" />
<attribute name="Main-Class" value="org.nogroup.Main" />
</manifest>
<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
<jar basedir="${path.build.classes}" manifest="MANIFEST.MF" jarfile="${path.build}/learning-hadoop.jar">
<include name="**/*.class"/>
<include name="**/*.jar"/>
</jar>
<!-- 删除manifest文件 -->
<delete dir="${path.build.classes}/lib"/>
<delete file="MANIFEST.MF" />
</target>
我们主要在hadoop-0.15.0上使用这种打包方法,非常方便,在新版本上也是没有问题的。如果在你的hadoop cluster上有问题,欢迎留言交流。
分享到:
相关推荐
这个是我在用eclipse引入hadoop2.2源代码后,所使用的第三方jar包
flink安装所需要的第三方jar,即flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
使用ecplice操作hadoop所需要的各种jar包。包括hdfs,maprudce,yarn,httpfs,kms。
包含hadoop平台Java开发的所有所需jar包,例如activation-1.1.jar apacheds-i18n-2.0.0-M15.jar apacheds-kerberos-codec-2.0.0-M15.jar api-asn1-api-1.0.0-M20.jar api-util-1.0.0-M20.jar asm-3.2.jar avro-1.7.7...
hadoop-2.7.2-hbase-jar.tar.gz hadoop-2.7.2-hbase-jar.tar.gz hadoop-2.7.2-hbase-jar.tar.gz
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
hadoop操作的文档文献和hadoopjar包
hadoop简单开发例子源码(含jar包),适用于初学者!
集合Maven,hdfs,mapreduce等相关所有jar包及依赖包
完整的Hadoop jar包,解压直接用。
hadoop-common-2.7.2.jar
《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
hadoop执行mr所需jar包,0.20以后版本。
hadoop-aws-2.7.3.jar,hadoop,spark查询oss对象存储包
hadoop-common-3.3.0.jar
当我们在idea工具里运行MapReduce程序时,报错权限问题,workaroundNonThreadSafePasswdCalls问题,NoSuchFieldError问题,将这个jar包替换源码maven仓库下的org\apache\hadoop\hadoop-core\1.2.1里的同名jar包即可
hadoop连接相关jar包
hadoop-core-1.0.0.jar hadoop的核心包hadoop-core-1.0.0.jar
资源包括hadoop-common-2.4.1.jar 、 hadoop-hdfs-2.4.1.jar、hadoop-mapreduce-client-app-2.4.1.jar、hadoop-mapreduce-client-common-2.4.1.jar、hadoop-yarn-api-2.4.1.jar、hadoop-yarn-client-2.4.1.jar等等...