在Hadoop的命令行脚本($HADOOP_HOME/bin/hadoop)里可以找到一些环境变量,在某些情况下可以灵活使用。
JAVA_HOME,HADOOP_CLASSPATH,HADOOP_HEAPSIZE等变量的意义比较明确,就不细说了。
HADOOP_CONF_DIR
指定Hadoop配置文件目录,默认是${HADOOP_HOME}/conf。当某台客户端机器是多人共用时,大家可能使用同一个Hadoop安装包,但每个人却都都有各自的配置,所以需要各自指定自己的配置文件目录:
export HADOOP_CONF_DIR=$HOME/hadoop_conf
这个环境变量在测试脚本里也经常使用。
HADOOP_OPTS
HADOOP_OPTS环境变量(包括HADOOP_NAMENODE_OPTS,HADOOP_CLIENT_OPTS等)指定了Hadoop Java进程运行时的系统参数,比如TestDfsIO程序中用到一个系统参数test.build.data,我们需要把它放到HADOOP_OPTS环境变量中:
export HADOOP_OPTS='-Dtest.build.data=/user/willwu/TestDFSIO'
如果你要改变NameNode GC方式,也可以用这个参数:
export HADOOP_NAMENODE_OPTS="-Xms40960m -XX:+UseConcMarkSweepGC"
HADOOP_ROOT_LOGGER
有时候你想让Hadoop客户端程序打印Debug日志,你需要改变HADOOP_ROOT_LOGGER变量,默认是INFO,console:
export HADOOP_ROOT_LOGGER=DEBUG,console
分享到:
相关推荐
实战Hadoop 2.0:从云计算到大数据(第二版)
Hadoop安全:大数据平台隐私保护 Hadoop安全:大数据平台隐私保护 Hadoop安全:大数据平台隐私保护
大数据安全-kerberos技术-hadoop安装包,hadoop版本:hadoop-3.3.4.tar.gz
Hadoop实战:Hadoop in Action
Apache Hadoop YARN:Moving beyond MapReduce and Batch Processing with Apach 2 【yarn权威指南】
hadoop权威指南代码 (Hadoop: The Definitive Guide code) http://www.hadoopbook.com
Hadoop大数据:处理技术基础与实践
Hadoop安全:大数据平台隐私保护,让集群数据可以更加安全,按照文档中内容操作,可以保障集群中的数据
Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计...
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载
Hadoop databases: Hive, Impala, Spark, Presto For ORACLE DBAs
Hadoop实例:二度人脉与好友推荐,供大家一起共同分享学习。
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
"Data Analytics with Hadoop: An Introduction for Data Scientists" ISBN: 1491913703 | 2016 | PDF | 288 pages | 7 MB Ready to use statistical and machine-learning techniques across large data sets? ...
1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些配置不一样,请手动调整 资源描述: 安装Linux教程.mp4 搭建hadoop集群-脚本使用教程.mp4 搭建Hadoop集群....
Hadoop: The Definitive Guide is a comprehensive resource for using Hadoop to build reliable, scalable, distributed systems. Programmers will find details for analyzing large datasets with Hadoop, and...
安装Java环境:Hadoop需要Java运行环境,因此需要先安装Java。 下载并解压Hadoop安装包:从官方网站或其他可靠来源下载Hadoop安装包,并解压到指定目录。 配置Hadoop环境变量:设置Hadoop的相关环境变量,以便系统...
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...