一.背景
一般hadoop集群的东西,需要去监控,或者杀东西之类的,所以需要调用下他们的API,下面是基本操作,获取正在跑的flink 程序,当然,也能获取CPU 内存等信息:
二.代码
public static void main(String[] args) throws IOException, YarnException { YarnConfiguration yarnConf = YarnConfLoader.getYarnConf("/Users/qqr/Downloads/yarn-conf"); YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(yarnConf); yarnClient.start(); Set<String> set = new HashSet<>(); // ApplicationType set.add("Apache Flink"); EnumSet<YarnApplicationState> enumSet = EnumSet.noneOf(YarnApplicationState.class); enumSet.add(YarnApplicationState.RUNNING); List<ApplicationReport> reportList = yarnClient.getApplications(set, enumSet); for(ApplicationReport report : reportList){ System.out.println("id-name:"+report.getApplicationId()+":"+report.getName()); System.out.println("mem:"+report.getApplicationResourceUsageReport().getNeededResources().getMemory()); System.out.println(); } }
输出:
id-name:application_1546069948045_128203:huoguo
mem:2048
id-name:application_1542000413153_5869:binlog_hbase
mem:2048
相关推荐
第五个:yarn-site.xml <!-- 指定YARN的老大(ResourceManager)的地址 --> <name>yarn.resourcemanager.hostname <value>weekend-1206-01 <!-- reducer获取数据的方式 --> <name>yarn....
tf-yarn是我们在Criteo建立的Python库,用于在Hadoop / YARN集群上训练TensorFlow模型。 可以在找到介绍性博客文章。 它支持在一个或多个具有不同分配策略的工作器上运行,并且可以仅使用几行代码就可以在CPU或GPU...
获取用于表示YARN和HDFS的实时和历史图形仪表板。 该项目基于docker,并支持Kerberos。 HDFS:对整个FSImage进行了索引,您可以在基于目录的级别上进行汇总,并搜索包括元数据和访问时间在内的特定文件 纱:在实时...
Lustre 上的无盘 Hadoop 2 (YARN) 此存储库包含允许 Hadoop2 (YARN) 在使用 Lustre 进行所有存储(临时和永久)的“无盘”Hadoop 节点上运行的代码更改。 此版本的 Hadoop 应以与未打补丁的 Hadoop 相同的方式构建...
继续阅读以获取详细信息。 包含的pom.xml已针对CDH5和MRv1进行了配置和测试。 Mesos上的Hadoop当前不支持YARN(和MRv2)。先决条件要使用指标功能(使用库),您需要安装libsnappy 。 libsnappyjava 软件包还包括...
针对分布式平台资源利用的特征,在集群局部资源利用密度异常情况检测技术的基础上,引入...最后通过某高校基于Hadoop服务器集群采集到的数据进行异常检测,验证了提出的基于最近邻结点资源异常检测方法的准确率和可行性。
瓜瓜瓜Hadoop MapReduce和Hadoop YARN上的迭代计算框架。消息Guagua 0.7.7发布了很多改进。 检查我们的会议入门请访问以获取教程。什么是瓜瓜瓜? Shifu的子项目Guagua是一个基于Hadoop MapReduce和YARN的分布式,可...
全书共四部分13 章:第一部分(第1~2 章)主要介绍了如何获取、阅读和调试Hadoop 的源代码,以及YARN 的设计思想、基本架构和工作流程;第二部分(第3~7 章)结合源代码详细剖析和讲解了YARN 的第三方开源库、底层...
016 hadoop单机部署介绍及软件包获取-mp4 017 hadoop单机部-mp4 018 hadoop单机部客应用测试mp4 019 hadoop伪分布式介绍及软件准备-mp4 015 hadoop部分类mp4 016 hadoop单相部署介绍及软件包获取-mp4 017 hadoop单机...
包含 core-default.xml,hdfs-default.xml,mapred-default.xml,yarn-default.xml
在 Eclipse 和 Yarn 上运行 hadoop 程序 步骤: sbin/start_classicCF.sh 该脚本用于下载数据集, 启动并将数据放入 hadoop HDFS, 构建此项目的可运行 Jar 在~/.bash_profile设置MahoutHadoopUseCase_HOME和...
因此,大数据时代带来的挑战不仅体 现在如何处理大体量数据并从中获取有价值的信息,也体现在如何加强大数据技术研发 。大数据所涉及的关键技术大致包括6个方面:数据采集与数据管理、分布式存储和并行 计算、大数据...
它提供了以下高级入口点: CondaCreator ,一种创建压缩conda环境的方法,因此可以将其上传到HDFS并提取出来以在YARN容器中使用YARNAPI ,是YARN资源管理器的接口,用于获取应用程序/容器状态,日志并YARNAPI正在...
Garmadon从运行中的Java容器和Hadoop主要组件生成有关JVM统计信息(编译时间,GC,热锁等),框架特定信息(Spark)和Hadoop特定事件(NodeManager的容器监视,yarn的应用程序状态,hdfs)的事件流电话等)。
java使用流获取网页源码泰贡 介绍 Tigon是一个开源、实时、低延迟、高吞吐量的流处理框架。 Tigon 是 Cask Data, Inc. 和 AT&T 之间的一项合作成果,它结合了这些公司的技术,创建了一个颠覆性的新框架来处理各种...
请检查以获取更多信息。联系Ozone是之下的顶级项目臭氧邮件列表如有任何疑问,请使用: 聊天:您可以在官方的ASF松弛处找到#ozone频道。 邀请链接在。 有 开放的 ,您可以询问有关臭氧的任何信息。 过去的会议记录...
星火MNIST 运行 MNIST 数据集的 ANN 的 Spark 实现。 ...spark-submit --name "Spark MNIST NN" --master [local|yarn-cluster] --class Mnist mnist_1.0-2.10.jar {train} {test} {output} 对于m
该软件包括一个 Terrier 补丁,以支持读取集合中的 .xz 文件,以及使用新的 Hadoop 框架 (Hadoop YARN) 调整 Terrier。 它已经在 Cloudera CDH5.1.0 (Hadoop 2.3.0)、Terrier 4.0 和 StreamCorpus v0.3.0 上运行的...
请参阅每个文档的底部以获取内容的来源。目录3.研究领域 1.面试데이터지니어가알아야기술 数据工程师需要了解的技术问题 1-1。 Hadoop生态系统阿帕奇Hadoop 通过将HDFS的块复制系数提高到3-> 5,它可以承受多少次...
除了Hadoop 版本2.0系统YARN,以及Spark等新型系统架构介绍外,还将探讨流式计算(Storm,Samza,Puma,S4等)、实时计算(Dremel,Impala,Drill)、图计算(Pregel,Hama,Graphlab)、NoSQL、NewSQL和BigSQL等的...