参照hadoop-0.20.2/docs/quickstart.html
注:ssh-copy-id -i ~/.ssh/id_rsa.pub localhost,我的 用户名是fansxnet
配置我们的hadoop伪分布式,打开下面的页面,配置成功。
mapreduce 9001
hdfs 9000
添加hadoop的eclipse的插件并重起eclipse。
hadoop-0.20.2/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar
配置插件
打开Map/Reduce Locations视图,New hadoop Locations
完成之后,就可以看到我们的分布式文件
新建我们的mapreduce项目hadoop
将hadoop自带的示例程序hadoop-0.20.2/src/examples/复制到我们的项目src目录下
本地新建一个input目录,里面新建两个文件
file1,内容如下
Hello World Bye World
file2,内容如下
Hello Hadoop Goodbye Hadoop
上传input文件夹到hdfs://localhost:9000/user/fansxnet/目录下
运行org.apache.hadoop.examples.WordCount.java
指定输入输出文件夹
hdfs://localhost:9000/user/fansxnet/input hdfs://localhost:9000/user/fansxnet/output
运行完之后刷新hdfs文件夹即可看到统计结果
- 大小: 62.1 KB
- 大小: 128.4 KB
- 大小: 115.4 KB
- 大小: 110.7 KB
- 大小: 188.9 KB
- 大小: 79 KB
分享到:
相关推荐
基于 Eclipse 的 Hadoop 应用开发环境配置是指在 Eclipse 中配置 Hadoop 开发环境,以便开发和运行 Hadoop 应用程序。本节将对基于 Eclipse 的 Hadoop 应用开发环境配置进行详细介绍。 一、Hadoop 概述 Hadoop 是...
linux下的eclipse编写hadoop2.7.3测试程序,使程序可以正常运行
用eclipse将Hadoop程序打包成jar及直接设定参数运行
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
1. 资源包括了eclipse Oxygen版本的hadoop插件,包括winutils 2. 文档详细介绍了windows 下的hadoop版本的配置 3. 实例程序可以跑通,有详细截图
本文将详细介绍如何在Eclipse中配置Hadoop插件,包括安装插件、配置MapReduce环境、使用Eclipse对HDFS内容进行修改、创建MapReduce工程、在Eclipse中运行WordCount程序等步骤。 一、安装插件 要在Eclipse中配置...
Eclipse 是一个流行的集成开发环境(IDE),可以用来开发和调试 Hadoop 应用程序。下载 Eclipse 可以从官方网站或中国镜像站点进行下载。在本文中,我们将从 Eclipse 官方网站下载 Eclipse,选择 Linux 版本,然后...
用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果...
本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。
该文档的目录如下: ...1.3.2安装Hadoop- Eclipse Plugin 1.3.3配置Hadoop-Eclipse Plugin 1.3.4在Eclipse 中操作HDFS中的文件 1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
简单的插件用法,支持在本地eclipse里运行hadoop,MapReduce程序,方便简单,灰常好用。
CDH最新版本mapreduce1插件,用于hadoop的开发!便于mapreduce程序的编写和开发!
windows上eclipse运行hadoop程序报NullPointerException错 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j ...
19 在Windows 上使用eclipse 编写Hadoop 应用程序 24 在Windows 中使用Cygwin 安装HBase 28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 ...
在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误: org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法: ...
第一章 Hortonworks安装 第二章 在Eclipse中运行Hadoop平台的WordCount程序 第三章 在Eclipse中运行Spark平台的WordCount程序
在eclipse中集成hadoop2控件,能够方便编写mapreduce等程序。在hadoop-2.3.0上运行成功
wordcount单词统计,hadoop程序,可直接放在hadoop环境中运行