本文基于Cloudera Manager 4.8,以下简称CM
初次使用CM有个困惑: 修改/etc/hadoop/conf目录下配置不会使service instance(如NN、DN、TT、JT等)生效
CM中service instance的配置文件分为服务端和客户端。
- 服务端文件:/var/run/cloudera-scm-agent/process/
- 客户端文件:/etc/hadoop/conf,只包含简单客户端配置如NN、JT地址等
service instance是通过agent启动,它的配置文件路径是动态生成并指定的,如某个JT的配置路径可能为:/var/run/cloudera-scm-agent/process/273-mapreduce-JOBTRACKER。
那如果要使用客户端hadoop命令怎么办呢?
这就需要部署客户端配置(CM界面有),它会把配置下载到/etc/hadoop/conf/下(实际是通过update-alternatives命令实现),如果当前机器有HDFS服务,则会下载HDFS相关配置文件到/etc/hadoop/conf/(如core-site.xml和hdfs-site.xml),如果是mapred服务则会下载mapred-site.xml等相关文件。如果希望某台服务器不提供hadoop服务也可以通过hadoop命令管理集群,则需要为它添加"GateWay"角色,然后下发客户端配置。
--end
相关推荐
压缩包太大,分成两个,其中包含以下文件: allkeys.asc, cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-6.3.1-...
Cloudera Manager API调用实例(JAVA版),已通过测试可用。Cloudera Manager API调用实例(JAVA版),已通过测试可用。
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和...
作为业界最领先的企业级数据平台软件,Cloudera企业版除了包含业界最流行的基于开源Hadoop及其生态组件构建的CDH核心,还包含了大量为支撑企业级业务的高级管理特性。 借助于Cloudera企业版的整体解决方案,企业可以...
Cloudera Manager6.2.1
128GB大数据服务器安装CDH HADOOP的配置,对hbase solr spark hdfs等服务的配置项 经过真实的数百亿数据的测试,单台10亿3台百亿30台千亿
cloudera manager中添加hive数据库使用mysql的配置的详细步骤
适用于CDH最后的一个免费版本的CDH6.3.2,用于CDH的本地源搭建.这部分是Cloudera Manager部分
Cloudera Manager安装部署.pdf
Cloudera Manager API v32 Introduced in Cloudera Manager 6.2.0 Cloudera Product Documentation
Cloudera Hadoop 安装指南
Cloudera Manager 4 二. 下载地址 4 三. 安装环境 4 四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 5. 用户sudo功能设置 7 6. 挂载硬盘 7 7. 配置yum源 9 8. 关闭...
Cloudera_Hadoop_UserMetrics 查询Cloudera Manager API以生成作业数据以确定用户指标 查询REST API,如此处所述: : 以写入csv。 这可用于生成自定义指标,以确定集群使用情况。 有关文档,请参见
压缩包太大,分成两个,其中包含以下文件: allkeys.asc, cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-6.3.1-...
grafana的cloudera manager插件,由于开源的grafana cdh插件在集成时会出现dateMath.parse is not a function问题,修复后可直接使用。本资源包是修复问题后的,可直接放到grafana plugins文件夹下,即可使用。
cloudera manager的运行机制及目录,cloudera manager的运行机制及目录。
花一个星期整理的cdh cm中文api 绝对完整,一个不漏
Cloudera Manager安装手册(离线parcels存储库方式),基于CentOS操作系统一步步傻瓜式安装,截图记录整个部署过程。带集群功能验证,检查集群是否正常工作 目录 一、文档内容 3 二、软硬件环境 3 2.1.软件信息 3 ...
Cloudera Manager大数据平台视频教程 特点如下: 统一化的可视化界面 自动部署和配置,大数据各类组件安装、调优极其便捷 零停机维护(免费版本不具有弹性升级) 多用户管理(权限控制,支持ldap) 稳定性极好(部分...
Cloudera Manager-V5.13 元数据库梳理.pdfCloudera Manager-V5.13 元数据库梳理.pdfCloudera Manager-V5.13 元数据库梳理.pdfCloudera Manager-V5.13 元数据库梳理.pdfCloudera Manager-V5.13 元数据库梳理....