`
yunj
  • 浏览: 14652 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
最近访客 更多访客>>
社区版块
存档分类
最新评论

简单至上,搭一个hadoop开发环境

阅读更多
hadoop是纯java写的,与平台无关,但官方只给出了shell的启动脚本,所以在linux下很容易能运行一个单机hadoop作为开发环境

如果没有空闲机器来跑linux,在windows下,除了装一个虚拟机开linux,还有更简单的方法,在windows下启hadoop

cygwin是一个windows下运行shell脚本的好东西,除了脚本本身,还有linux下常用工具像grep、ssh等。安装时需要在默认基础上多选一个ssh,hadoop运行需要这个命令

装完cygwin,配置并启动好sshd,然后,不要再用cygwin那个破界面了,用scrt之类的工具ssh到localhost吧,cygwin的控制台都不能复制粘贴。。。

有了shell环境,再来简单设置一下hadoop,最简单的单机运行,只要在默认解压出来的hadoop/conf/hadoop-site/xml 里加上3个属性:
<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9100</value>
</property>
<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9101</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

还有一个JAVA_HOME 这个环境变量要改改,改成cygwin 环境能访问到的路径,即:D:\jdk 改成 /cygdrivers/d/jdk
不用在你的系统环境变量里改,在 hadoop/conf/hadoop-env.sh 里指定一下就可以了

然后
hadoop/bin/hadoop namenode -format 格式化一个dfs
hadoop/bin/start-all.sh 启动服务,ok了
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics