tez ui 安装测试
标签(空格分隔): 未分类
环境:hadoop-2.7.1,tez-0.7.0,tomcat 7
- 将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中
-
修改tez-ui的war解压后的文件scripts/configs.js文件
App.setConfigs({ /* Environment configurations */ envDefaults: { version: "0.7.0", /* * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change * the following value for pointing to a different domain. */ timelineBaseUrl: 'http://10.162.209.29:8188', /* * By default RM web interface is expected to be at http://localhost:8088, uncomment and change * the following value to point to a different domain. */ RMWebUrl: 'http://10.162.209.29:8088', }
timelineBaseUrl的值为yarn中的timeline地址
RMWebUrl:的值为resourcemanager的地址 -
配置yarn的timeline服务:修改yarn-site.xml文件,添加如下配置
<!-- conf timeline server --> <property> <name>yarn.timeline-service.enabled</name> <value>true</value> </property> <property> <name>yarn.timeline-service.hostname</name> <value>10.162.209.29</value> </property> <property> <name>yarn.timeline-service.http-cross-origin.enabled</name> <value>true</value> </property> <property> <name> yarn.resourcemanager.system-metrics-publisher.enabled</name> <value>true</value> </property>
修改后的yarn-site.xml文件同步到所有hadoop节点中,并重启yarn服务
[hadoop@gateway]$ hadoop-2.7.1/sbin/stop-yarn.sh #停止 [hadoop@gateway]$ hadoop-2.7.1/sbin/start-yarn.sh #启动 [hadoop@gateway]$ hadoop-2.7.1/sbin/yarn-daemon.sh start historyserver #启动timeline服务
- 从浏览器访问10.162.209.29:8188 地址可以看到和8088端口一样的ui界面即可
- 修改tez-site.xml文件
xml
<property>
<name>tez.history.logging.service.class</name>
<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
<property>
<name>tez.allow.disabled.timeline-domains</name>
<value>true</value>
</property>
添加如上配置项:此处添加的tez-site.xml文件位于hive的conf下 - 运行一个hive的tez查询可以看到如下界面:
sql
hive> select x1.application_id,x2.application_id,x1.maxnum1,x2.minnum1 from (
> select application_id,time_scope, max(num1) as maxnum1 from metric_data_entity group by application_id,time_scope limit 10) x1
> join (
> select application_id,time_scope, min(num1) as minnum1 from metric_data_entity group by application_id,time_scope limit 10
> ) x2
> on x1.application_id=x2.application_id; - 运行后的tez-UI:
相关推荐
6. **测试与验证**:运行一个Hive查询并检查Tez UI是否能正确显示其执行情况。 通过以上步骤,可以有效地解决Tez UI编译和部署的问题,提升Hadoop和Tez环境的管理和监控能力。尤其对于大数据开发团队,掌握如何使用...
值得注意的是,这个包不包含 Tez UI,即用户界面,可能会影响到用户对作业的可视化监控和调试。同时,发布者并未进行详细验证,但承诺会提供后续的测试结果。 【标签】"HIVE Tez CDH6.2" 指出,Tez 主要与 HIVE ...
7. **tez-tests-0.9.1.jar**:包含了Tez的测试用例,可用于验证Tez的正确性和性能。 8. **tez-common-0.9.1.jar**:包含了一些通用的类和工具,这些在Tez的多个组件中都会用到。 Tez 0.9.1的使用涉及配置、DAG定义...
6. 数据可视化:运用JQuery、Echarts、Easy UI等技术呈现图表和表格,Apache POI处理Excel和CSV的导入导出,Log4J记录日志,Spring框架实现页面、服务和数据的集成管理,DBCP实现数据库连接池。 7. 数据模型层次:...
《Hive on Spark实施详解》 ...总之,Hive on Spark的实施涉及多个步骤,包括编译、安装、配置和测试。通过遵循上述步骤,可以在Ubuntu环境下成功搭建和运行Hive on Spark,从而提升大数据处理的效率。
5. **scripts**:可能包含一些初始化脚本或示例脚本,帮助你快速设置和测试环境。 安装步骤通常包括以下几步: 1. **配置Hive**:修改`conf/hive-site.xml`,配置Hive与Hadoop的连接信息,如HDFS的地址、Hive ...
3. **YARN**:YARN是Hadoop 2引入的重要组件,它作为资源调度器,负责集群中资源的管理和分配,使得Hadoop可以支持更多类型的应用,如Spark、Tez等。 安装Hadoop时,需要配置环境变量、Hadoop配置文件(如core-site...
LLAP的引入使得Hive能够满足低延迟、变化量级的基准测试,在15秒或更短时间内得到响应。为了实现这样的性能,文档中介绍了多个准备步骤和配置项,包括启用YARN预占(preemption)、设置LLAP、配置HiveServer ...