1.hadoop的伪分布安装 hadoop-1.2.0
1.1 设置ip地址
执行命令 service network restart
验证: ifconfig
1.2 关闭防火墙
执行命令 service iptables stop
验证: service iptables status
1.3 关闭防火墙的自动运行
执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables
1.4 设置主机名
执行命令 (1)hostname chaoren
(2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
执行命令 vi /etc/hosts
验证: ping chaoren
1.6 设置ssh免密码登陆
执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh chaoren
1.7 安装jdk
执行命令 (1)cd /usr/local
(2)chmod u+x jdk-6u24-linux-i586.bin
(3)./jdk-6u24-linux-i586.bin
(4)mv jdk1.6.0_24 jdk
(5)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
(6)source /etc/profile
验证: java -version
1.8 安装hadoop
执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
(2)mv hadoop-1.1.2 hadoop
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
(6)hadoop namenode -format
(7)start-all.sh
验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
(2)在浏览器查看,http://chaoren:50070 http://chaoren:50030
1.9 启动时没有NameNode的可能原因:
(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败
=====================================接上
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/
2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
</property>
</configuration>
- 浏览: 63050 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (107)
- Scrapy (3)
- git (1)
- eclipse (2)
- PostgreSQL (17)
- jstl (1)
- python (11)
- Oracle (6)
- jquery (2)
- MongoDB (5)
- redis (0)
- Shell (3)
- Java-POI (2)
- solr (3)
- Java (12)
- nutch (0)
- Linux (7)
- PyLucene (1)
- hadoop (13)
- maven (1)
- Kafka (3)
- oozie (2)
- Kerberos (1)
- mysql (4)
- 杂记 (1)
- Storm (0)
- spark (1)
- nosql (0)
- hive (0)
- hbase (0)
- 项目管理 (2)
- jetty (0)
- jquery page翻页代码 (0)
- liferay portal 6 (1)
- spring boot -redis (0)
最新评论
发表评论
-
Mahout--学习资料
2015-04-16 16:00 323IBM--推荐系统:http://www.ibm.com/d ... -
Hadoop RPC
2015-04-10 00:27 0第一部分:什么是RPC ... -
Hadoop 管理
2015-04-10 00:27 0第一部分:HDFS管理 命令行工具 •HDFS文件系 ... -
Hadoop IO
2015-04-10 00:26 0第一部分:数据完整性 ... -
MapReduce高级编程
2015-04-10 00:25 0第一部分:重要的组件 Combiner ... -
hadoop tunning笔记
2015-04-10 00:23 0第一部分:core-site.xml ... -
hadoop tunning
2015-04-10 00:20 435选项 类型 默认值 描述 ... -
hive UDF 与hive UDAF开发
2015-04-09 23:19 0hive UDF HIVE允许用户使用UDF(user def ... -
hadoop2.x分布式安装
2015-03-30 00:43 0前期的环境准备都一样的,就不多说了----------vi / ... -
Hadoop 2.x伪分布式安装_20140729
2015-03-30 00:43 0软件的安装目录: ... -
11_flume
2015-03-30 00:42 0目前常见的日志收集系统:facebook-scribe、clo ... -
10_sqoop
2015-03-30 00:42 0SQOOP是用于对数据进行导入导出的。 (1)把MySQ ... -
09_hive
2015-03-30 00:42 01.Hive1.1在hadoop生态圈中 ... -
08_pig
2015-03-30 00:41 01.Pig是基于hadoop的一个数据处理的框架。 MapR ... -
07_Hbase集群搭建
2015-03-30 00:41 01.hbase的机群搭建过程(在原来的hadoop0上的hba ... -
06_HBase单节点
2015-03-30 00:40 01.HBase(NoSQL)的数据模型1.1 表(table) ... -
05_ZooKeeper
2015-03-30 00:40 4911.ZooKeeper 1.1 zk可以用来保证数据在z ... -
04_hadoop1.x的分布式安装
2015-03-30 00:39 3871.hadoop的分布式安装过程 1.1 分布结构 ... -
03_hdfs操作
2015-03-30 00:39 4411.对hdfs操作的命令格式是hadoop fs 1. ... -
Hadoop--CLI的解析
2015-03-17 15:51 722基于 Apache Commons CLI 的命令行设计 ...
相关推荐
02_新能源汽车数仓概述.mp4 03_数仓需求介绍及框架选择.mp4 04_数仓架构介绍.mp4 05_服务器选型介绍.mp4 06_集群资源规划介绍.mp4 07_采集数据格式介绍.mp4 08_克隆准备3台虚拟机.mp4 09_分发脚本和免密登录...
1.【Oracle RAC】Linux + Oracle 11g R2 RAC ...02.【Oracle RAC】Oracle RAC更改VIP IP地址_2节点的实验 http://space.itpub.net/9664900/viewspace-676800 03.【Oracle RAC】Oracle RAC删除一个节点_3节点的实验 ...
01_MapReduce框架处理数据的流程及几点注意 02_编写MapReduce编程模块 03_MapReduce数据类型及自定义数据类型 04_案例:网站基本指标分析(一) ...11_分布式安装部署:配置主从节点之间的SSH无密钥登录
动力节点的杜老师讲述的mysql教程,详细讲解了MySQL的相关知识,包括MySQL概述,MySQL应用环境,MySQL系统特性,MySQL初学基础,MySQL管理工具,如何安装MySQL及MySQL新特性,通过观看可掌握MySQL全套知识。
课程JS_02_18我们假设您已经预安装了带有npm,Gulp和Bower的node.js。 项目的构建过程取决于 二手包装经理的和 。 建设者的核心是 。 npm install bower -gnpm install -g gulp gulp-cli连接到项目克隆回购: git ...
Ubuntu 服务器上单节点 hadoop 集群的安装脚本 用法: $ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install git-core $ git clone https://github.com/abarbanell/hadoop-setup.git $ cd hadoop...
2014 年 11 月 7 日##########################目录组织和内容########################## 01_3.4_Devstack localrc for nova-network 多合一02_4.3_Devstack localrc 中子一体化03_5.3_安装控制器节点命令04_5.4_...
欢迎来到EOS Jungle3.0测试网【手动节点安装】 链 ID:2a02a0053e5a8cf73a56ba0fda11e4d92e0238a4a2aa74fccf46d5a910746840 基于标签:v2.1.0-rc2 请加入丛林测试网网络监视器: : ! 此 repo 用于手动安装。 请...
async_package_in_series_waterfall npm 安装 saync 节点系列_01.js 节点系列_02.js 节点系列_03.js 解释: 函数mkdir、read、write将依次执行,然后执行函数done。 series_01.js,使用 async.series([mkdir, read, ...
该活动在 Coworking Faro (02-08-2014) 举行。 该活动有 13 个 node.js 挑战,代码由一个名为 learnyounode 的平台提交和验证 安装 sudo apt-get 安装 nodejs 须藤 apt-get 安装 npm npm install -g learnyounode...
│ │ 02-nova计算服务计算节点.mp4 │ │ 03-neutron网络服务控制节点.mp4 │ │ 04-neutron网络服务计算节点.mp4 │ │ 05-安装horizon web界面.mp4 │ └ 06-启动一个云主机.mp4 ├ _openstack-day3 │ │ 01-...
│ 01.openshfit-课程...│ 10-1.openshift-安装node节点-安装配置消息队列.mp4 │ 10-2.安装node节点软件包配置防火墙规则. │ 10-3.安装node节点-配置资源控制相关设置. │ 10-4.安装node节点-SELinux及内核.....
02-nova计算服务计算节点.mp4 03-neutron网络服务控制节点.mp4 04-neutron网络服务计算节点.mp4 05-安装horizon web界面.mp4 06-启动一个云主机.mp4 openstack-day3 01-增加计算一个节点并测试.mp4 02-项目、用户、...
RHEV测试环境: 一台服务器安装windows 2003 + RHEV-M. ... 一台服务器本地有500G磁盘,通过iscsi...两台服务器作为虚拟化运行平台节点。主机名分别为: hyper01.rhev.com hyper02.rhev.com 在这三台服务器上安装RHEV-H.
02-nova计算服务计算节点.mp4 03-neutron网络服务控制节点.mp4 04-neutron网络服务计算节点.mp4 05-安装horizon web界面.mp4 06-启动一个云主机.mp4 openstack-day3 01增加计算一个节点并测试.mp4 02-项目、用户、...
支持蓝牙Mesh联网,实现与区域内各节点Mesh设备组网,实现无线控制; 板载4.0寸高分辨率电容触摸屏; 内置TOF 1D距离传感器,实现“人近屏亮、人走屏灭”,适用于低功耗控制场合。 基于86盒的标准硬件结构,可进行...
FusionCompute_CNA-8.0.0-X86_64.iso ------------ CNA计算节点安装镜像(操作系统) FusionCompute_CNA-8.0.0-ARM_64.iso ------------ CNA计算节点安装镜像(操作系统) FusionCompute_VRM-8.0.0-X86_64.iso -----...
02_配置主节点与从节点之间的SSH无密钥登录 03_ZK集群启动脚本编写及NN启动过程(fsimage和edits)及SNN功能 04_HADOOP中服务组件的高可用HA说明 05_搭建分布式HBase集群 06_SQOOP安装及导入数据到HBase表 07_...
akamTester批量测试B站海外CDN(upos-hz-mirrorakam.akamaized.net)节点延迟,找出最低延迟的节点。在之后在Hosts中追加:最低延迟的IP upos-hz-mirrorakam.akamaized.net另外, ip_list.txt 文件用于保存解析出来的...