`
qindongliang1922
  • 浏览: 2146958 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:116317
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:124587
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:58449
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:70347
社区版块
存档分类
最新评论

Apache Tez0.7编译笔记

阅读更多




目前最新的Tez版本是0.8,但还不是稳定版,所以大家还是先下载0.7用吧
下载地址: wget http://archive.apache.org/dist/tez/0.7.0/apache-tez-0.7.0-src.tar.gz


由于编译Tez-UI模块,需要使用nodejs,所以建议还是
提前安装nodejs 和npm工具,安装方式,可以下载源码安装
也可以yum安装,安装步骤:

(1)安装nodejs镜像
sudo curl --silent --location https://rpm.nodesource.com/setup | sudo bash -
(2)yum安装nodejs,前提是你已经安装了
yum -y install gcc-c++ make
yum -y install nodejs

(3)查看版本:
node -v
npm -v
没有问题即可

(4)解压tez到某个目录,然后进入根目录,修改pom.xml文件:
升级frontend版本为0.0.23

<plugin>
          <groupId>com.github.eirslett</groupId>
          <artifactId>frontend-maven-plugin</artifactId>
          <version>0.0.23</version>
        </plugin>


进入tez ui的模块下,修改pom.xml文件,在
grunt build 和 Bower install下面的configuration下面增加下面一个段配置,允许以root权限执行构建

<arguments>
                <argument>node_modules/bower/bin/bower</argument>
                <argument>install</argument>
                <argument> --allow-root</argument>
                <argument>--remove-unnecessary-resolutions=false</argument>
</arguments>


然后执行命令:mkdir -p  apache-tez-0.7.0-src/tez-ui/src/main/webapp/dist创建一个
dist目录,否则最后,会报一个dist目录不存在的错误,导致编译失败

另外需要注意的是,在tez-ui编译的时候,需要大量下载npm nodejs相关的包,如果没有下载可以执行
npm install xxx 进行下载安装,
除以之外还有一个错误,就是有些依赖模块,会报一个 error use strict model 异常,导致tez-ui无法正常
编译通过,解决办法,下载低版本的依赖包,即可,目前发现两个依赖出现此种问题:

解决办法:先卸载原来版本的,然后重新安装低版本,如果提示权限不够,就在命令前面加上sudo
npm uninstall qs
npm uninstall hawk
npm install qs@5.2
npm  install hawk@0.6.1

博客地址:http://qindongliang.iteye.com/

最后看以下,编译过程中,nodejs依赖的所有包:
执行命令:ll node_modules/ | gawk '{print $9}'

abbrev
ansicolors
ansi-regex
ansistyles
aproba
archy
argparse
asn1
assert-plus
async
async-some
aws-sign2
balanced-match
bl
boom
brace-expansion
buffers
caseless
chainsaw
chownr
cli-color
cmd-shim
columnify
combined-stream
concat-map
config-chain
core-util-is
cryptiles
dashdash
debuglog
delayed-stream
dezalgo
ecc-jsbn
editor
end-of-stream
esprima
extsprintf
forever-agent
form-data
fstream
fstream-npm
fs-vacuum
fs-write-stream-atomic
glob
graceful-fs
has-unicode
hawk
hoek
hosted-git-info
http-signature
iferr
imurmurhash
inflight
inherits
ini
init-package-json
isarray
jodid25519
jsbn
json-schema
json-stringify-safe
jsprim
js-yaml
lockfile
lodash
lodash._baseindexof
lodash._baseuniq
lodash._bindcallback
lodash._cacheindexof
lodash.clonedeep
lodash._createcache
lodash._getnative
lodash.isarguments
lodash.isarray
lodash.isfunction
lodash.isobject
lodash.keys
lodash.now
lodash.restparam
lodash.union
lodash.uniq
lodash.without
mime-db
mime-types
minimist
mkdirp
mute-stream
node-gyp
node-uuid
nopt
normalize-git-url
normalize-package-data
npm-cache-filename
npm-install-checks
npmlog
npm-package-arg
npm-registry-client
npm-user-validate
oauth-sign
once
opener
osenv
osx-release
path-is-inside
process-nextick-args
qs
read
readable-stream
read-cmd-shim
readdir-scoped-modules
read-installed
readline2
read-package-json
read-package-tree
realize-package-specifier
request
retry
rimraf
rx
semver
sha
sigmund
slide
sntp
sorted-object
sprintf-js
sshpk
string_decoder
stringstream
strip-ansi
tar
text-table
through
tough-cookie
traverse
tunnel-agent
tweetnacl
uid-number
umask
unique-filename
unpipe
user-home
util-deprecate
uuid
validate-npm-package-license
validate-npm-package-name
verror
which
win-release
wordwrap
wrappy
write-file-atomic
xdg-basedir
xtend



(5)最后在tez根目录下输入如下命令进行构建:
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true
大概10多分钟即可编译成功:





成功后,在tez的根目录下创建tezlib文件夹:
执行输入命令,拷贝所有tez相关的jar到tezlib下面:
find . -name "*jar" -print | cp -a `xargs` tezlib/



扫码关注微信公众号:我是攻城师(woshigcs),我们一起学习,进步和交流!(woshigcs)
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享,也是一个温馨的技术互动交流的小家园,有什么问题随时都可以留言,欢迎大家来访!

  • 大小: 34.2 KB
  • 大小: 36.7 KB
0
0
分享到:
评论

相关推荐

    源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    Apache TEZ部署手册

    Apache TEZ 部署手册 的各个步骤,包括打包等步骤说明

    apache-tez-0.9.2-bin.tar.gz

    apache tez 安装

    源码apache-tez-0.8.3编译后的hadoop2.8.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    tez:Apache Tez

    Apache Tez是一个通用的数据处理管道引擎,被设想为用于更高抽象的低级引擎,例如Apache Hadoop Map-Reduce,Apache Pig,Apache Hive等。 从本质上讲,tez非常简单,只有两个组成部分: 数据处理流水线引擎可以...

    Bikas Saha:Apache Tez-A框架模型和构建Hadoop数据处理应用程序

    该文档来自于Apache Hadoop和Tez项目PMC成员Bikas Saha,在2014中国大数据技术大会大数据技术分论坛的演讲“Apache Tez-A Framework to Model and Build Hadoop Data Processing Applications”。

    apache-tez源码

    学习大数据的小白用得到的apache tez源码,通过源码可以感受大牛们的代码风格和思维逻辑

    apache-tez-0.8.5-bin.tar.gz

    只支持 hadoop2.6以上,hive必须是apache版本的 如果使用CDH的hive需要处理jar包冲突问题,太麻烦了

    docker-hive-on-tez:在 Tez 上运行的 Apache Hive 的 Docker 镜像

    在 Tez 上运行 Apache Hive 的 Docker 镜像此存储库包含一个 docker 文件,用于构建 docker 映像以在 Tez 上运行 Apache Hive。 这个 docker 文件依赖于我的其他包含和 基础镜像的存储库。当前版本Apache Hive(主干...

    apache-tez-0.9.0-bin.tar.gz

    Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、...

    apache-tez-0.8.3-src.tar.gz

    Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、...

    apache-tez-0.9.1-bin.tar.gz

    用Hive直接编写MR程序,假设有四个有依赖关系的MR作业,上图中,绿色是Reduce Task,云状表示写屏蔽,...Tez可以将多个有依赖的作业转换为一个作业,这样只需写一次HDFS,且中间节点较少,从而大大提升作业的计算性能

    Apache Tez

    基于YARN来将数据流构建为一个DAG,能够更好地优化程序的执行过程。应该比基于MapReduce引擎的程序效率和通用性都提高了。

    tez-0.8.5-hadoop-2.6.5-bin.zip

    tez-0.8.5-hadoop-2.6.5-bin,java1.8。hadoop2.6.5,jdk1.8,tez-0.8.5的编译包。

    CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip

    该资源包含tez0.9.1源码以及编译之后的文件,用于不同操作系统编译,而源码从官网下载而来,由于官网速度较慢,放于csdn供大家下载

    apache-tez-0.9.1.zip编译后的CDH5.12.1

    CDH5.12.1 hadoop版本2.6.0 可用,hive-1.1.0 tez-0.9.1,同版本的小伙伴可以直接使用,复制文件里面的tez-dist/target下的tez-0.9.1.tar.gz即可

    apache-tez-0.10.2-src.tar.gz

    Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。...

    apache-tez-0.10.2-bin.tar.gz

    Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。...

    apache-tez-0.9.1-bin.tar的安装包和安装配置

    apache-tez-0.9.1-bin.tar的安装包和安装配置.zip 1、关于版本: hive-1.2.1+tez-0.9.1+hadoop-2.7.7 hive-2.3.6+tez-0.9.1+hadoop-2.7.1 两种搭配均试过可行,之前配置的时候觉得与版本有很大关系,试过之后发现...

    apache-tez-0.9.2-src.tar.gz

    Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。...

Global site tag (gtag.js) - Google Analytics