`
astroboyx
  • 浏览: 24093 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类

command shell(flume command)

 
阅读更多

command shell(flume command)

help

帮助

connect master:port

登录master

config logicalnode source sink

为逻辑节点配置一个source到sink的映射

getnodestatus

获得节点状态(HELLO, CONFIGURING, ACTIVE, IDLE, ERROR, DECOMMISSIONED, LOST )

HELLO, node启动时

CONFIGURING, node被配置后

ACTIVE, 一个event从source送达到sink

IDLE, source中所有evnet发送完毕后

ERROR, 节点故障退出,数据没有flush

DECOMMISSIONED, node被master移除

LOST, master长时间未收到node心跳

getconfigs

获得配置

getmappings [physical node]

如果physical node参数被省略,将显示所有logical node到physical node的映射关系

exec

同步执行命令

Source file

执行脚本.

submit

异步执行命令

wait ms [cmdid]

设定一个时间,周期检查命令进程的状态(success or failure)

waitForNodesActive ms node1 [node2 […]]

设定一个时间,检查node是否处于使用(configuring, active)状态

waitForNodesDone ms node1 [node2 […]]

设定一个时间,检查node是否处于未用(IDLE, ERROR, LOST)状态

quit

退出

command shell(exec & submit command)

双引号

包含转义字符的java string

单引号

能引住除单引号之外的所有字符

noop

touch master, 不做操作

config logicalnode source sink

为逻辑节点配置source到sink的映射

multiconfig flumespec

unconfig logicalnode

取消逻辑节点的配置,影响master调整故障转移列表(failover list)

refreshAll logicalnode

刷新

save filename

保存current configuration到master硬盘

load filename

从master中加载current configuration

map physicalnode logicalnode

配置物理节点到逻辑节点的映射关系,master的配置将被同步到logicalnode

spawn physicalnode logicalnode

恢复

decommission logicalnode

unmap physicalnode logicalnode

取消映射

unmapAll

全部取消

purge logicalnode

清除状态,类似重启一个logical node, 适用于(DECOMMISSIONED、 LOST)状态

purgeAll

清除所有logical node的状态


分享到:
评论

相关推荐

    Flume1.6.0入门:安装、部署、及flume的案例

    Flume1.6.0入门:安装、部署、及flume的案例

    flume自学文档.pdf

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...

    flume-ng安装

    flume-ng安装

    尚硅谷大数据技术之Flume

    尚硅谷大数据技术之Flume

    Flume集群环境搭建,flume监控

    flume集群环境搭建,详细讲解,图文并茂,包括flume信息监控和众多文章链接

    flume支持RabbitMQ插件

    flume支持RabbitMQ插件

    apache-flume-1.8.0

    flume官网下载太慢,请从这里下载,次文件是官方网站的1.8版本,也就是支持jdk1.8的,不支持jdk1.7,如果要支持jdk1.7的,请下载我的资源里面也有,flume1.7,

    Flume构建高可用、可扩展的海量日志采集系统

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...

    让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 文档

    让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...

    数据采集之Flume.xmind

    Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 Apache Flume是Apache软件基金会(ASF)的顶级项目 Event是Flume定义的一个数据流传输的最小单元。...

    flume-1.9.0.tgz

    flume安装包

    flume1.6.0.rar

    flume 1.6.0 文件监控

    flume1.6+es551

    flume es

    flume 1.6.0配置文件样例

    kafka对接flume,flume对接elasticSearch,flume配置样例

    flume-ng-elasticsearch6-sink.zip

    flume1.9采集数据入存入elasticsearch6.2.4,flume1.9本身只支持低版本的elasticsearch,基于apache-flume-1.9.0-src的flume-ng-sinks/flume-ng-elasticsearch-sink源码修改,支持es6.2.4,打的包,直接替换flume/...

    flume配置文件demo

    flume的几个简单的配置文件,

    Flume+kafka+Storm整合

    Flume+kafka+Storm整合 示例简介: 以下为三个组建整合,这里只做操作也演示结果,原理性方面大家多学习基础。 流程顺序是flume获取telnet数据,将接收到的数据发送至kafak,kafka作为Storm的spout,Storm进行有向无...

    flume安装包

    flume安装包 flume安装包 flume安装包 看好版本再下载,以免下错

    flume-1.7.0.zip

    flume资源包

    47_Flume、Logstash、Filebeat调研报告

    基于flume+kafka+实时计算引擎(storm,spark,flink)的实时计算框架目前是比较火的一个分支,在实时数据采集组件中flume扮演着极为重要角色,logtash是ELK的重要组件部分,filebeat也是一个实时采集工具;

Global site tag (gtag.js) - Google Analytics