`
大龙湖东哥
  • 浏览: 323 次
  • 性别: Icon_minigender_1
最近访客 更多访客>>
社区版块
存档分类
最新评论

构建Hadoop集群-SSH配置

阅读更多
Hadoop控制脚本(并非守护进程)依赖SSH来执行针对整个集群的操作。例如,某个脚本能够终止并重启集群中的所有守护进程。值得注意的是,控制脚本并非唯一途径,用户可以利用其他方法执行集群范围的操作(例如分布式shell)。
为了支持无缝式工作,SSH安装好之后,需要允许Hadoop用户无需键入密码即可登录集群内的机器。最简单的方法是创建一个公钥/私钥对,存放在NFS之中,让整个集群共享该密钥对。
首先,以某个hadoop用户账号登录后,键入一下指令来产生一个RSA密钥对。
    % ssh-keygen -t rsa -f ~/.ssh/id_rsa
尽管期望无密码登录,但无口令的密钥并不是一个好的选择(运行在本地伪分布集群上时,倒也不妨使用一个空口令)。因此,当系统提示输入口令时,用户最好指定一个口令。可以使用ssh-agent以免为每个连接逐一输入密钥。
私钥放在由-f 选项指定的文件中,例如~/.ssh/id_rsa。存放公钥的文件名称与私钥类型类似,但是以“.pub”作为后缀,例如~/.ssh/id_rsa.pub。
接下来,需确保公钥存放在用户打算连接的所有机器的~.ssh/authorized_keys文件中。如果hadoop用户的home目录是在NFS文件系统中(如前所述),则可以键入一下指令在整个集群内共享密钥:
       % cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果home目录并没有通过NFS共享,则需要利用其他方法共享公钥(比如:ssh-copy-id)。
测试是否可以从主机器SSH到工作机器。若可以,则表明ssh-agent正在运行。再运行 ssh-add 来存储口令。这样的话,用户即可不用再输入口令就能ssh到一台工作机器。
分享到:
评论

相关推荐

    Docker部署本地以及集群hadoop.zip

    2. 制作支持ssh的docker镜像-centos7_ssh-01 3. 制作ssh无密码登录的docker镜像-01 4. 构建基于docker的单节点的HDFS集群-01 5. docker容器跨物理节点通信-01 6 跨物理节点构建基于docker的10节点HDFS集群-说明文档-...

    shell脚本执行jps时:-bash: jps: command not found

    我构建了hadoop集群。我们一定会写一个shell脚本去每一个节点上去jps,查看每个节点的进程情况。 原先以为shell很简单: #!/bin/bash #查看每个节点运行情况 for((host=101;host<108;host++));do echo ----------...

    Hadoop权威指南 第二版(中文版)

    如何构建Hadoop集群,如何管理Hadoop;Pig简介;Hbase简介;Hive简介;ZooKeeper简介;开源工具Sqoop,最后还提供了丰富的案例分析。  本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中...

    Hadoop大数据平台构建、基础环境配置教学课件.pptx

    配置SSH无密钥登录(master为主节点) 任务一 安装集群主节点 创建一台虚拟机。在虚拟机软件VMWare Workstation中创建一台服务器,作为集群主节点,服务器主要硬件配置:2CPU、2G内存、20G硬盘,网络模式:NAT。 ...

    Hadoop实战中文版

    9.4 在EC2 上运行MapReduce 程序 9.4.1 将代码转移到Hadoop集群上 9.4.2 访问Hadoop集群上的数据 9.5 清空和关闭EC2 实例 9.6 Amazon Elastic MapReduce 和其他AWS 服务 9.6.1 Amazon Elastic MapReduce 9.6.2...

    Hadoop权威指南(中文版)2015上传.rar

    第9章 构建Hadoop集群 集群规范 网络拓扑 集群的构建和安装 安装Java 创建Hadoop用户 安装Hadoop 测试安装 SSH配置 Hadoop配置 配置管理 环境设置 Hadoop守护进程的关键属性 Hadoop守护进程的地址和端口 Hadoop的...

    Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx

    配置SSH无密钥登录(slave1为主节点) 任务四 分发YARN与MapReduce配置文件 任务五 启动YARN集群 任务六 启动历史服务 任务七 验证YARN集群与历史服务 任务一 YARN组件参数配置 编辑 yarn-site.xml 配置文件(yarn...

    Hadoop实战中文版.PDF

    1649.2.2 获得命令行工具 1669.2.3 准备SSH密钥对 1689.3 在EC2上安装Hadoop 1699.3.1 配置安全参数 1699.3.2 配置集群类型 1699.4 在EC2上运行MapReduce程序 1719.4.1 将代码转移到Hadoop集群上 1719...

    docker 搭建hadoop以及hbase集群详解

    要用docker搭建集群,首先需要构造集群所需...使用ubuntu14系统来安装hadoop和hbase,由于hadoop集群机器之间通过ssh通信,所以需要在ubuntu14系统中安装ssh服务。 编写Dockerfile如下: ###########################

    Hadoop实战(陆嘉恒)译

    在云上运行Hadoop9.1 Amazon Web Services 简介9.2 安装AWS9.2.1 获得AWS身份认证凭据9.2.2 获得命令行工具9.2.3 准备SSH密钥对9.3 在EC2 上安装Hadoop9.3.1 配置安全参数9.3.2 配置集群类型9.4 在EC2 上运行...

    Hadoop实战

    1699.3.2 配置集群类型 1699.4 在EC2上运行MapReduce程序 1719.4.1 将代码转移到Hadoop集群上 1719.4.2 访问Hadoop集群上的数据 1729.5 清空和关闭EC2实例 1759.6 Amazon Elastic MapReduce和其他AWS服务 1769.6.1 ...

    BDA_Mahout_Tutorial:其中包含构建由AWS提供的推荐教程的步骤和脚本

    BDA_Mahout_Tutorial其中包含构建由AWS提供的推荐教程的步骤和脚本在视频第1部分中使用AWS中的快速选项初始化集群然后使用putty SSH到集群获取MovieLens数据wget 解压缩ml-1m.zip转换rating.dat,将“ ::”换为“,...

Global site tag (gtag.js) - Google Analytics