最近虚拟机老出bug,又鉴于日后处理大数据时必定会用到集群,所以我缠着我们组现在已经研究到Scala的大神,不时软磨硬泡,总算在今天下午独自成功跑完一个mapreduce小程序。秉着珂姨“好记性不如烂博客”的原则,决定将其记录在案。
(1)首先要新建一个目录,我起名为test,
hadoop fs -mkdir /test;
(2)手动将存储着实验数据的txt文件放入虚拟机的文件系统中,我放在/usr/local目录下,然后将其上传至HDFS,
hadoop fs -put /usr/local/MR.txt /test。
查看test是否上传成功,可用hadoop fs -ls /test;
(3)将导出的jar文件同样复制到虚拟机的文件系统中;
(4)接着就可以执行程序了,指令形式:
hadoop jar 你的jar包的位置 jar包 主类名 /test/test.txt 输出目录。
在这之前,你可以先进入存放jar文件的目录,就可以直接hadoop jar jar包 主类名 /test(/MR.txt) 输出目录;
Problem: 到这里我遇到了一个问题,
请教了大神,知道问题出在jdk,解决方案:点击所需项目—>点击工具栏Project中的Properties—>选中左边栏的Java compiler,如图
(5)改完后,运行,此处截取最后片段,查看是否成功,
hadoop fs -ls /output_JWT,若自动生成一个SUCCESS文件则说明执行成功
;
(6)跑程序的目的自然是查看结果,指令如下:
hadoop fs -cat /output_JWT/(系统自动生成的文件)
到这里,我的第一个集群上的MR程序就跑完了,因为实现的功能非常简单,只是统计第一列日志的各个内容出现次数,因此这里就不另附上源码了。
Welcome criticism!~
相关推荐
基于跨境电商的区域外贸企业集群创新路径研究--以江苏苏州为例.pdf
MapReduceExample 下建立新包 com.xijing.mapreduce,模仿内置的 WordCount 示例,自己编写一个 WordCount 程序,最后打包成 JAR 形式并在 Hadoop 集群上运行该 MR-App,查看运行结果。 4 分别在自编 MapReduce 程序...
本源代码提供了redis3.0或者redis3.2如何集群,以及spring-data-redis如何操作集群,并且同时提供了redis单例操作
查询所有Redis集群配置信息-data-2021-05-06 11_08_34.zip
在对RN-Tree原理分析的基础上,将RN-Tree应用于组P2P网络的多集群网格系统中,研究其查找过程以及查找性能。在单机上编程模拟了多集群网格系统的RN-Tree生成过程及查找过程。模拟方式能够避免在真实的大规模多集群网格...
MySQL集群PXC: Percona-XtraDB-Cluster-8.0.32-24.tar.gz percona-xtradb-cluster_8.0.32-24.orig.tar.gz Percona-XtraDB-Cluster-8.0.32-24.tar.gz.gz
docker 运行redis-trib 带密码创建redis cluster集群配置,没有密码的请自己去下载一个redis-trib.rb替换
10.hbase的整体工作机制--集群角色功能介绍--存储机制.mp4
cent7-es6.2.4集群搭建-全新环境-重点
Kubernetes集群的基本健康检查-Shell-下载
Spark跨集群bulk load(6-2)
Linux运维-运维课程MP4存储专题-d3- ceph集群与owncloud存储实战-04-ceph集群部署
python 零基础学习篇-04.HDFS集群搭建--服务器-网络配置准备.mp4
redis在windows下的集群安装.rar--带有操作视频
大数据课程——Hadoop集群程序设计与开发,教师版,提供教学大纲、教案、教学设计、实训文档等,课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频,花费巨额时间亲自制作,下载后可私信提供上述所有...
查询所有Redis集群配置信息-data-2021-05-06 09_56_40.zip
基于ROACH2-GPU集群相关器的研究--F-engine模块的设计与实现.pdf
MapReduce采用"分而治之"的思想,把对大规模数据集的...一个Hadoop集群中只有一台JobTracker。 在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信
多重网络嵌入下产业集群竞争力分析--以晋江鞋业产业集群为例,韩莹,陈国宏,随着改革开的推进放和经济的发展,传统产业集群网络不断演化,企业同时嵌入供应链网络、集群内网络、超集群网络等多重网络当中。
redis集群离线安装全部组件-windows。含Redis-x64-3.0.504,redis-3.3.0.gem,redis-trib.rb,rubyinstaller-2.2.4-x64.text。 安装教程见 https://bxoon.blog.csdn.net/article/details/106299728