http://www.easyhadoop.com
//hadoop自动化安装
#!/bin/sh
if [ $# -lt 3 ]; then
echo "Usage: $0 map.tasks.maximum reduce.tasks.maximum memory child.java.opts"
else
map=$1
reduce=$2
mem=$3
yum -y install lrzsz gcc gcc-c++ libstdc++-devel
/usr/sbin/groupadd hadoop
/usr/sbin/useradd hadoop -g hadoop
mkdir -p /opt/modules/hadoop/
mkdir -p /opt/data/hadoop1/
chown hadoop:hadoop /opt/data/hadoop1/
echo "-------------config hosts----------------"
wget http://www.easyhadoop.com/hadoop/hosts
cat hosts >> /etc/hosts
echo "----------------env init finish and prepare su hadoop---------------"
HADOOP=/home/hadoop
cd $HADOOP
mkdir .ssh
ssh-keygen -q -t rsa -N "" -f $HADOOP/.ssh/id_rsa
cd $HADOOP/.ssh/ && cat id_rsa.pub > $HADOOP/.ssh/authorized_keys
chmod go-rwx $HADOOP/.ssh/authorized_keys
wget http://www.easyhadoop.com/hadoop/hadoop-0.20.203.0.tar.gz
wget http://www.easyhadoop.com/hadoop/hadoop-gpl-packaging-0.2.8-1.x86_64.rpm
wget http://www.easyhadoop.com/hadoop/jdk-6u21-linux-amd64.rpm
wget http://www.easyhadoop.com/hadoop/lrzsz-0.12.20-19.x86_64.rpm
wget http://www.easyhadoop.com/hadoop/lzo-2.04-1.el5.rf.x86_64.rpm
wget http://www.easyhadoop.com/hadoop/lzo-2.06.tar.gz
wget http://www.easyhadoop.com/hadoop/lzop-1.03.tar.gz
wget http://www.easyhadoop.com/hadoop/hive-0.7.1.tar.gz
wget http://www.easyhadoop.com/hadoop/pig.tar.gz
mkdir $HADOOP/hadoop
mv *.tar.gz $HADOOP/hadoop
mv *.rpm $HADOOP/hadoop
cd $HADOOP/hadoop
rpm -ivh jdk-6u21-linux-amd64.rpm
rpm -ivh lrzsz-0.12.20-19.x86_64.rpm
rpm -ivh lzo-2.04-1.el5.rf.x86_64.rpm
rpm -ivh hadoop-gpl-packaging-0.2.8-1.x86_64.rpm
tar xzvf lzo-2.06.tar.gz
cd lzo-2.06 && ./configure --enable-shared && make && make install
cp /usr/local/lib/liblzo2.* /usr/lib/
cd ..
tar xzvf lzop-1.03.tar.gz
cd lzop-1.03
./configure && make && make install && cd ..
chown -R hadoop:hadoop /opt/modules/hadoop/
cp hadoop-0.20.203.0.tar.gz /opt/modules/hadoop/
cd /opt/modules/hadoop/ && tar -xzvf hadoop-0.20.203.0.tar.gz
sed -i "s/^<value>6<\/value>/<value>${map}<\/value>/g" /opt/modules/hadoop/hadoop-0.20.203.0/conf/mapred-site.xml
sed -i "s/^<value>2<\/value>/<value>${reduce}<\/value>/g" /opt/modules/hadoop/hadoop-0.20.203.0/conf/mapred-site.xml
sed -i "s/^<value>-Xmx1536M<\/value>/<value>-Xmx${mem}M<\/value>/g" /opt/modules/hadoop/hadoop-0.20.203.0/conf/mapred-site.xml
mkdir -p /opt/modules/hive/
cp hive-0.7.1.tar.gz /opt/modules/hive/
cd /opt/modules/hive/ && tar -xzvf hive-0.7.1.tar.gz
chown -R hadoop:hadoop /opt/modules/hive/
chown -R hadoop:hadoop /opt/modules/hadoop/
chown -R hadoop:hadoop /home/hadoop/
mkdir -p /opt/modules/pig/
cp pig.tar.gz /opt/modules/pig/
cd /opt/modules/pig/ && tar -xzvf pig.tar.gz
chown -R hadoop:hadoop /opt/modules/pig/
#sudo -u hadoop /opt/modules/hadoop/hadoop-0.20.203.0/bin/hadoop namenode -format
#sudo -u hadoop /opt/modules/hadoop/hadoop-0.20.203.0/bin/hadoop-daemon.sh start namenode
#sudo -u hadoop /opt/modules/hadoop/hadoop-0.20.203.0/bin/hadoop-daemon.sh start jobtracker
#sudo -u hadoop /opt/modules/hadoop/hadoop-0.20.203.0/bin/hadoop-daemon.sh start datanode
#sudo -u hadoop /opt/modules/hadoop/hadoop-0.20.203.0/bin/hadoop-daemon.sh start tasktracker
fi
curl -# http://www.easyhadoop.com/setup.html?type=setup
分享到:
相关推荐
01_hadoop_hdfs1分布式文件系统01 02_hadoop_hdfs1分布式文件系统02 03_hadoop_hdfs1分布式文件系统03 04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_...
Hadoop在centOS系统下的安装文档,系统是虚拟机上做出来的,一个namenode,两个datanode,详细讲解了安装过程。
使用Rust的Hadoop流 描述 在Rust中使用Hadoop流的示例。 这是一个MapReduce程序,用于从气象记录中逐年查找全球最高温度。...$ hadoop jar $HADOOP_INSTALL /hadoop-streaming- * .jar \ -input ncdc_data \
解决unable to load native library的问题 mac brew install hadoop方式安装的hadoop没有lib文件夹 官方下载的hadoop包是32位的在64位机器需要编译后才可以 将lib文件放到hadoop目录中即可
Apache_OpenOffice_4.1.6_Linux_x86-64_install-deb_zh-CN
在〜/ .bash_profile => PATH = $ PATH:$ HOME / bin:/tmp/hadoop-3.0.3-ha/tools中设置工具6,运行shell => ./hadoop_install.sh如何重新运行?1.在master中,清理/ etc / hosts中的所有主机2.确保所有节点都没有...
Hadoop集群安装的详细说明文档, 實作七: Hadoop 叢集安裝 前言 您手邊有兩台電腦,假設剛剛操作的電腦為"主機一" ,另一台則為"主機二" 。則稍後的環境如下 • 管理Data的身份 管理Job的身份 "主機一" namenode ...
Java,Hadoop,Kafka,Spark安装说明 1. Oracle Virtualbox(可选) 访问下面的链接,然后选择正确的操作系统版本进行下载: : 根据您的操作系统进行...sudo bash hadoop_install.sh 等待安装完成。 有时需要一点时
# Hadoop base directory to install the software hadoop_home: /opt/hadoop-2.X # List of servers to download the hadoop code hadoop_mirrors: [ ...
在新的/target文件夹中创建一个.jar ,如下所示: mvn clean install创建一个包含您选择的单词的文本文件。 将其命名为input.txt 像这样将文件复制到HDFS中: hadoop fs -mkdir wordcount/inputhadoop fs -...
必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包版本都不同,需要一个个调整 - `hadoop2x-eclipse-plugin-master/ivy/library.properties` - `hadoop2x-eclipse-plugin-...
hadoop etc/hadoop/slaves data-node-sa data-node-sb data-node-sc Python3安装 安装pyspark cd /opt/spark-2.3.2-bin-hadoop2.7/python && python36 setup.py install 安装numpy pip3 install numpy -i ...
1.安装 Hadoop-gpl-compression 1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-...
$ mvn install 安装: 在您的 hadoop-env.sh 文件(通常在 /etc/hadoop/conf/ 中)中,将 GraphiteContext.jar 文件的位置添加到 HADOOP_CLASSPATH 示例:export HADOOP_CLASSPATH="/[path_to]/GraphiteMaven-1.1...
介绍这是降级优先任务计划程序的代码包。 该软件包仅在Ubuntu 12.04上... bash install.sh 在$ HADOOP_HOME / conf / masters中,输入名称节点的主机名或主机IP(如果不需要,请不要忘记删除默认值)。 在$ HADOOP_HOM
使用维基百科转储的 Hadoop 示例 通过 这个 Hadoop 项目可以在 Wikipedia 中找到所有链接。...$ mvn clean install 3- 运行 hadoop 维基百科链接查找器 $ hadoop jar today/target/today-1-jar-with-depend
hadoop-2.6.0 Window客户端,解压到目录,设置环境变量即可使用。java调用实例:// windows环境下需要配置Hadoop的客户端 System.setProperty("hadoop.home.dir", "E:/hadoop-2.6.0/"); conf = new Configuration...
pip3 install -r requirements.txt 修改配置 在 app/init.py 中修改 hdfs 和 elasticsearch 连接 # 连接 hdfs client = pyhdfs.HdfsClient(hosts='192.168.174.10:50070', user_name='root') # 使用 elasticsearch ...
尼莫 具有不同部署特性的灵活就业数据处理系统。 在线文件 有关Nemo及其开发的详细信息,请参见: 我们的网站: : 我们的项目Wiki: : 我们的贡献开发人员邮件...$ sudo apt-get install protobuf-compiler 在U
如下运行mvn clean install或创建jar export HADOOP_CLASSPATH=$(/usr/bin/hadoop classpath) mkdir target cd target javac -classpath ${HADOOP_CLASSPATH} ../CustomAverageTuple.java jar cf findaverage-1.0-...