hadoop是纯java写的,与平台无关,但官方只给出了shell的启动脚本,所以在linux下很容易能运行一个单机hadoop作为开发环境
如果没有空闲机器来跑linux,在windows下,除了装一个虚拟机开linux,还有更简单的方法,在windows下启hadoop
cygwin是一个windows下运行shell脚本的好东西,除了脚本本身,还有linux下常用工具像grep、ssh等。安装时需要在默认基础上多选一个ssh,hadoop运行需要这个命令
装完cygwin,配置并启动好sshd,然后,不要再用cygwin那个破界面了,用scrt之类的工具ssh到localhost吧,cygwin的控制台都不能复制粘贴。。。
有了shell环境,再来简单设置一下hadoop,最简单的单机运行,只要在默认解压出来的hadoop/conf/hadoop-site/xml 里加上3个属性:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
还有一个JAVA_HOME 这个环境变量要改改,改成cygwin 环境能访问到的路径,即:D:\jdk 改成 /cygdrivers/d/jdk
不用在你的系统环境变量里改,在 hadoop/conf/hadoop-env.sh 里指定一下就可以了
然后
hadoop/bin/hadoop namenode -format 格式化一个dfs
hadoop/bin/start-all.sh 启动服务,ok了
分享到:
相关推荐
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...
IDEA搭建本地hadoop开发环境的log4j.properties
Hadoop 开发环境搭建第一篇: 1、是用Virtual Box 系统使用的是Redhat ,linux不熟的朋友们可以顺便学习一下linux, 2、环境配置包括防火墙关闭,IP分配,更改域名等 3、服务软件:远程服务SSH等安装
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。 具体目标是: 1.在ubuntu系统上部署hadoop 2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3...
NULL 博文链接:https://mazhilin.iteye.com/blog/2415060
windows下搭建hadoop开发环境(Eclipse)
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
基于Eclipse的Hadoop应用开发环境配置
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
Hadoop开发环境搭建所需文件(hadoop-eclipse-plugin-2.2.0.jar、winutils.exe)
hadoop开发环境搭建教程:利用Cloudera实现Hadoop
win7下Cygwin搭建Hadoop开发环境
附件包含eclipse在window7配置hadoop2.7.x 开发环境需要的jar、dll。具体安装步骤可以参考:https://blog.csdn.net/wudichengyaojin/article/details/64440655 可能遇到的问题参考: ...
windows中Hadoop开发环境中用到的bin,因为镜像下载中缺少winutils.exe和hadoop.dll ,所以上传此资源以备使用 windows搭建Hadoop开发环境请参考https://blog.csdn.net/qq_38774450/article/details/108942115
Windows下搭建Hadoop开发环境
IDEA搭建本地hadoop开发环境,hadoop.dll资源
文档针对使用spark做分布式数据处理的windows环境下本地必要配置。
内含三个文档,Cygwin+Eclipse搭建Hadoop开发环境、cygwin安装及基本操作方法总结、Hadoop环境搭建及wordcount实例运行,要做这方面工作的人,可以进行参考