Email:biansutao[@]gmail[DOT]com
还不能实现完全自动安装,只能算半自动的。
进行交互主要障碍有两点:
1. ssh-keygen的时候需要点击回车。
2. passwd 需要设置密码
如果谁能解决以上两点,欢迎email给我。
另外:需要JDK和Hadoop压缩包
第一步: 设置Root用户的SSH 无密码访问
为了之后修改Hosts文件,配置环境变量,拷贝数据方便
ssh root@192.168.1.148 'sh -c "ssh-keygen -t rsa"'
cat ~/.ssh/id_rsa.pub | ssh root@192.168.1.148 'sh -c "cat - >>~/.ssh/authorized_keys"'
ssh root@192.168.1.148 'sh -c "chmod -R 700 /root/.ssh"'
# ssh root@192.168.1.148 'sh -c " ls -l --color=tty ~/.ssh "'
第二步: 添加用户Hadoop,Hadoop的管理帐户,是Hadoop的超级用户
ssh root@192.168.1.148 'sh -c "useradd -p 123456 hadoop"'
ssh root@192.168.1.148 'sh -c "passwd hadoop"' 给Hadoop用户修改密码
# ssh root@192.168.1.148 'sh -c " ls -l --color=tty /home/hadoop"'
第三步: 修改主机名和hosts 文件
ssh root@192.168.1.148 'sh -c "hostname hadoop148"'
ssh root@192.168.1.148 'sh -c " echo -e \"NETWORKING=yes \nNETWORKING_IPV6=no\nHOSTNAME=hadoop148\" > /etc/sysconfig/network "'
echo -e "192.168.1.148 hadoop148" >> /etc/hosts 修改本地Hosts文件,最后拷贝到每台机器上
第四步:设置hadoop用户的SSH无密码访问
ssh hadoop@192.168.1.148 'sh -c "ssh-keygen -t rsa"'
cat ~/.ssh/id_rsa.pub | ssh hadoop@192.168.1.148 'sh -c "cat - >>~/.ssh/authorized_keys"'
ssh hadoop@192.168.1.148 'sh -c "chmod -R 700 /home/hadoop/.ssh"'
ssh hadoop@192.168.1.148 'sh -c " ls -l --color=tty ~/.ssh "'
第五步: 安装JDK,Hadoop 压缩包
scp jdk1.7.0_03.tgz root@192.168.1.159:/usr/local/ # 拷贝
ssh root@192.168.1.159 'sh -c " tar -xvzf /usr/local/jdk1.7.0_03.tgz -C \"/usr/local\" "' # 远程解压缩
scp hadoop-0.20.205.0.tar.gz root@192.168.1.159:/opt
ssh root@192.168.1.159 'sh -c " tar -xvzf /opt/hadoop-0.20.205.0.tar.gz -C \"/opt\" "'
第六步:设置软连接,创建目录
ssh root@192.168.1.159 'sh -c "mkdir /opt/data "'
ssh root@192.168.1.159 'sh -c "mkdir /opt/tmp "'
ssh root@192.168.1.159 'sh -c "ln -s /opt/hadoop-0.20.205.0 /opt/hadoop"'
第七步:拷贝hosts文件,设置环境变量,启动Hadoop
ssh root@192.168.1.159 'sh -c " echo -e \"export JAVA_HOME=/usr/local/jdk1.7.0_03 \nexport PATH=/opt/hadoop/bin:\\\$JAVA_HOME/bin:\\\$PATH\nexport CLASSPATH=\\\$JAVA_HOME/lib\" >> /etc/profile "'
scp /etc/hosts root@192.168.1.159:/etc/ # hosts 文件需要拷贝到没一台已经安装Hadoop的机器中
scp /opt/hadoop/conf/masters /opt/hadoop/conf/core-site.xml /opt/hadoop/conf/hdfs-site.xml /opt/hadoop/conf/mapred-site.xml /opt/hadoop/conf/hadoop-env.sh /opt/hadoop/conf/fair-scheduler.xml root@192.168.1.159:/opt/hadoop/conf
ssh root@192.168.1.159 'sh -c "chown -R hadoop:hadoop /opt"'
ssh hadoop@192.168.1.159 'sh -c "/opt/hadoop/bin/hadoop-daemon.sh start datanode"'
ssh hadoop@192.168.1.159 'sh -c "/opt/hadoop/bin/hadoop-daemon.sh start tasktracker"'
分享到:
相关推荐
使用方法详见https://blog.csdn.net/MC_cube/article/details/118194127
自动化安装脚本 需要安装expect,并依据自己的实际环境更改ip和hostname 需要jdk的安装文件,需要重命名为jdk7.rpm
自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...
将文件中的hadoop配置文件、自动安装脚本,自己下载的jdk、hadoop文件放于同一目录下,(注jdk、hadoop文件名中要包含关键字jdk、hadoop),然后运行脚本。详细请看说明。
为hive-0.11半自动安装脚本 使用前请先阅读本脚本注释部分 已有hadoop环境可使用本脚本 因为初识shell脚本 望大虾勿喷 如有不吝赐教者 不胜感激
Hadoop高可用自动化安装使用Shell脚本,可自行修改适配自己的集群,完全自动化,仅提供脚本,软件自备
Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计...
需要自己先安装jdk,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,这里有自动安装jdk的脚本
自动化脚本一键安装 jdk,hadoop,hive
docx
自动安装JDK,Maven,Ant,Maven,Hadoop脚本 脚本开发者:三劫散仙 技术交流群:376932160 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作, 在这上面我们可以直接...
hadoop大数据平台部署专用脚本;自动计算磁盘数,批处理格式化gpt磁盘
安装jdk1.8,直接使用这个脚本,需要vim 安装jdk.sh,然后按Esc进入一般模式,使用 :set ff=unix 然后按Enter,然后按Esc,输入:wq 然后使用./安装jdk.sh,然后使用source /etc/profile
支持配置推送,hosts文件推送,自动生成机架感知脚本 使用方法: http://github.com/xianglei/easyhadoop 点zip图标下载,然后运行EasyHadoopCentral中的setup_centos_(x).py进行安装 标签:hadoop ...
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建,还有自动化启动脚本。只需要复制粘贴命令,就可以完成。3台机器。相关资源可以留言发邮件,我发资料。cdh...
Ubuntu 服务器上单节点 hadoop 集群的安装脚本 用法: $ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install git-core $ git clone https://github.com/abarbanell/hadoop-setup.git $ cd hadoop...
自动化安装脚本25#master 服务器自动安装脚本25Hive仓库集群部署入门文档271. 名词解释272. Hive的作用和原理说明27#数据仓库结构图27#Hive仓库流程图27#hive内部结构图273. Hive 部署和安装27#安装Hadoop集群,看...
hive的安装与配置 一.Hive的安装和配置 1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为: 2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-...
zookeeper一键式安装shell脚本,无需手动搭建集群环境,脚本运行即可自动配置
无需安装获取脚本,假设您将其保存到~/bin/hadoop-completion.sh : curl https://raw.githubusercontent.com/guozheng/hadoop-completion/master/hadoop-completion.sh -so ~/bin/hadoop-completion.sh && chmod +x...