个人主页:http://www.tongtongxue.com/archives/4578.html
软件准备
(1) hadoop-2.6.0.tar.gz
(2) jdk-7u67-linux-x64.tar.gz
(3) VMware Workstation Pro
(4) CentOS-6.4-x86_64-minimal.iso
注意:此次是利用VM搭建Hadoop的伪分布模式
新建CentOS虚拟机
(1)创建新的虚拟机
(2)选择“自定义”
(3)选择ISO镜像文件
(4)命名
(5)指定虚拟机安装位置
(6)一直下一步,到要“完成”时,将“创建后开启此虚拟机”的选项去掉
(7)编辑虚拟机设置
(8)移除“autoinst.iso”
(9)开启虚拟机
(10)“Disc Found”中选择“Skip”
(11)语言选择“English”
(12)键盘选择“U.S. English”
(13)编辑HostName
(14)时区选择“上海“
(15)设置密码
新建yun用户
先用root用户进入后,输入如下操作:
useradd yun
按回车,接下来输入
passwd yun
按回车后,系统会提示设置密码
安装JDK
(1)将jdk-7u67-linux-x64.tar.gz通过Xshell工具上传后
(2)解压文件
tar -zxvf jdk-7u67-linux-x64.tar.gz
(3)设置环境变量
export JAVA_HOME=/opt/jdk1.7.0_67 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
安装Hadoop
(1)配置SSH无密码登录节点,首先安装openssh-server
yum install openssh-server
(2)执行
ssh-keygen -t rsa
(3)将公钥名修改成authorized_keys
cd ~/.ssh mv id_rsa.pub authorized_keys
(4)配置core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://yunpan:9000</value> </property> </configuration>
(5)配置hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/opt/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/hadoop/dfs/data</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
(6)yarn-site.xml配置
<configuration><!-- Site specific YARN configuration properties --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
(7)配置slaves
在该文件中输入datanode节点的ip,由于是伪分布式的,则里面只要配置目前的centos的ip或者域名
(8)配置环境变量
export HADOOP_HOME=/opt/hadoop 然后加入到PATH中 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
(9)格式化
hdfs namenode -format
(10)启动
由于我们只需要HDFS分布式系统,以启动时只要输入
sbin/start-dfs.sh
关注微信公众号
相关推荐
毕业设计,基于hadoop的云盘系统,技术选型springboot+mysql+layui+hdfs+hbase(未完成)
这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是spring Struts2 hibernate集合框架,配有sql文件。直接导入后运行这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是...
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库,采用SpringMVC+Spring框架实现,包括用户注册与登录、我的网盘、关注用户、我的分享、我...
人工智能-hadoop
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip 语言:Java 框架:springMVC 数据库:HBASE 可以作为毕业设计
私有云盘seafile搭建文档
基于Hadoop分布式云盘系统使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库,采用SpringMVC+Spring框架实现,包括用户注册与登录、我的网盘、关注用户、我的分享、我收到的分享等五大功能模块。其中我的网盘...
基于Hadoop实现的数据云盘系统项目源码资料大全.zip基于Hadoop实现的数据云盘系统,实现不同用户有不同的存储空间,不同的用户身份有不同的权限操作等功能软件设计思路 1、用户登录模块设计 输入图片说明 2、检索...
基于hadoop的C端云盘项目,前端使用Javaswing搭建+源代码+文档说明 -------- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到...
自己动手写网络爬虫 可以抓取网页 云盘 Java代码 的内容 只要自己修改下配置即可
压缩包内包含 1、52.0MB《自己动手写编译器、链接器》高清带目录电子书; 2、983KB配套源码。
基于JFinal+Hadoop+mysql的云盘管理系统 源代码和sql文件都在里面 参考以下吧,大家! 详情咨询博客地址: http://blog.csdn.net/cptcpt123/article/details/20581339
hadoop3.1.3安装包
在Centos7.0中搭建Haoop伪分布式环境,并用Java接口上传文件进行测试。
资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户登录与注册 2.用户网盘管理 3.文件在线浏览功能 4.文件上传与下载 基于...
搭建Owncloud私有云盘,里面有详细的操作步骤,按.txt文件步骤操作。不懂给我留言
基于Hadoop-Hbase实现的的网络云盘系统+源代码+文档说明+设计方案 -------- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96...
基于hadoop伪分布式hdfs系统完成的云盘项目基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip基于hadoop伪分布式hdfs系统完成的云盘项目源码+项目说明+sql数据库.zip基于hadoop伪分布式hdfs系统...