tez ui 安装测试
标签(空格分隔): 未分类
环境:hadoop-2.7.1,tez-0.7.0,tomcat 7
- 将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中
-
修改tez-ui的war解压后的文件scripts/configs.js文件
App.setConfigs({ /* Environment configurations */ envDefaults: { version: "0.7.0", /* * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change * the following value for pointing to a different domain. */ timelineBaseUrl: 'http://10.162.209.29:8188', /* * By default RM web interface is expected to be at http://localhost:8088, uncomment and change * the following value to point to a different domain. */ RMWebUrl: 'http://10.162.209.29:8088', }
timelineBaseUrl的值为yarn中的timeline地址
RMWebUrl:的值为resourcemanager的地址 -
配置yarn的timeline服务:修改yarn-site.xml文件,添加如下配置
<!-- conf timeline server --> <property> <name>yarn.timeline-service.enabled</name> <value>true</value> </property> <property> <name>yarn.timeline-service.hostname</name> <value>10.162.209.29</value> </property> <property> <name>yarn.timeline-service.http-cross-origin.enabled</name> <value>true</value> </property> <property> <name> yarn.resourcemanager.system-metrics-publisher.enabled</name> <value>true</value> </property>
修改后的yarn-site.xml文件同步到所有hadoop节点中,并重启yarn服务
[hadoop@gateway]$ hadoop-2.7.1/sbin/stop-yarn.sh #停止 [hadoop@gateway]$ hadoop-2.7.1/sbin/start-yarn.sh #启动 [hadoop@gateway]$ hadoop-2.7.1/sbin/yarn-daemon.sh start historyserver #启动timeline服务
- 从浏览器访问10.162.209.29:8188 地址可以看到和8088端口一样的ui界面即可
- 修改tez-site.xml文件
xml
<property>
<name>tez.history.logging.service.class</name>
<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
<property>
<name>tez.allow.disabled.timeline-domains</name>
<value>true</value>
</property>
添加如上配置项:此处添加的tez-site.xml文件位于hive的conf下 - 运行一个hive的tez查询可以看到如下界面:
sql
hive> select x1.application_id,x2.application_id,x1.maxnum1,x2.minnum1 from (
> select application_id,time_scope, max(num1) as maxnum1 from metric_data_entity group by application_id,time_scope limit 10) x1
> join (
> select application_id,time_scope, min(num1) as minnum1 from metric_data_entity group by application_id,time_scope limit 10
> ) x2
> on x1.application_id=x2.application_id; - 运行后的tez-UI:
相关推荐
最新版本tez-ui war包,可以解决tez编译问题出现tez-ui编译不进去的问题,现在可以吧这个拿出来自己配置到hadoop和tez上
已编译好的github上最新的tez-ui-0.10.1 比apache官网上的都要高一个版本,解决了很多bug
基于github tez最新版本编译,编译日期为2021-03-22,压缩包带有tar包和tez-ui的war包
使用BigFrame比较Hive-MR和Hive-Tez的性能Hadoop 2.6.0 + Hive 1.2.0 + Tez 0.7.0 + Tomact 8.0 + Tez UI 0.7.0 + MySQL + BigFrame + Datahooks教程 系统必备本教程基于Ubuntu 14.04LTS 64位版本。 添加一个名为...
源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
apache tez 安装
Tez 0.91 minimal jar包和tar包,基于CDH6.2编译的具体为3.0.0-cdh6.2.0,没有tez-ui ,没有具体验证,才编译好就上传了,明天给测试结果
包括pom修改的每个截图和配置,该文档从有道云笔记到处略加修改,其中pom内容格式需要你手动调整一下. 富含 大量截图帮助定位和配置. 含hive on tez 常见报错的解决方法. tez比spark更省心. spark容易出现内存问题.
Apache TEZ 部署手册 的各个步骤,包括打包等步骤说明
Tez 0.91 minimal jar包和tar包,基于CDH6.2编译的具体为3.0.0-cdh6.2.0,没有tez-ui ,没有具体验证,才编译好就上传了,明天给测试结果
学习大数据的小白用得到的apache tez源码,通过源码可以感受大牛们的代码风格和思维逻辑
资源中包含了Hive1.2.1和Tez0.9.1安装包,安装配置说明可参考我的博客,如果安装过程中遇到问题可与我联系解决。
基于hadoop 3.2.1和 TEZ 0.9.2 最新版本比编译的tar包 ,欢迎下载,欢迎使用,希望好用
apache-hive-2.3.6-bin.tar.gz & apache-tez-0.9.1-bin.tar.gz
Tez是一个Hive的运行引擎,性能优于MR.Tez可以将多个有依赖的作业转换为一个作业,这样只需写一次HDFS,且中间节点较少,从而大大提升作业的计算性能。
tez-0.8.5-hadoop-2.6.5-bin,java1.8。hadoop2.6.5,jdk1.8,tez-0.8.5的编译包。
Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、...
基于hadoop3.2.1编译的tez0.9.2包,自己编译的,欢迎使用,欢迎下载