youguofu
- 浏览: 24787 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
当client提交一个任务后,首先resourceManger(RM)来调度出一个container,这个container是在nodeManger(NM)运作的,
client直接和这个container所在的NM进行通信,在这个container中启动applicationMaster(AM),启动成功之后,这个AM将全权负责此次任务 ...
此篇的目的是怎么检错以及原理
192.168.159.31(node1) Namenode
192.168.159.32(node2) zookeeper Datanode JN(JournalNode)
192.168.159.33(node3) zookeeper Datanode JN
192.168.159.34(node4) zookeeper Datanode JN
192.168.159.35(node5) Namenode ...
利用zookeeper来实现namanode的高可用(HA)(第二篇,接上篇)
机器设备:为了叙述方面 采用nodeX的形式来表示主机名
192.168.159.31(node1) Namenode
192.168.159.32(node2) zookeeper Datanode JN(JournalNode)
192.168.159.33(node3) zookeeper Datanode JN
192.168.159.34(node4) zookeeper Datanod ...
zookeeper来实现namenode的高可用(HA)(第一篇,此篇讲解搭建zookeeper环境)
机器设备:为了叙述方面 采用nodeX的形式来表示主机名
192.168.159.31(node1) Namenode
192.168.159.32(node2) zookeeper Datanode JN(JournalNode)
192.168.159.33(node3) zookeeper Datanode JN
192.168.159.34(node4) zookeeper ...
DataNode启动失败解决
第一步:查看日志
打开DataNode上的hadoop日志 在hadoop/logs下 查看类似于
hadoop-root-datanode-node3.log
查看错误
在日志中会看到 类似于这样的错误
Incompatible clusterIDs in /usr/hadoop/tmp/dfs/data:
namenode clusterID = CID-39c41029-f002-482d-a7fb-d5d92ccc1b34;
datanode clusterID = CID-1c73b5bd-6bba-431 ...
hadoop集群环境的搭建
此处所用hadoop版本为2.5.2 可以从官网上下载 然后解压
我是解压在了/usr/hadoop 下 (目录随自己习惯)
设备
192.168.159.31 NameNode
192.168.159.32 DataNode
192.168.159.33 DataNode
================================================================
第一步: 在hdfs-env.sh中 添加 JAVA_HOME
第二步:在yarn- ...
第一步:
在tomcat中memcached的jar包
第二步:
修改tomcat/conf/context.xml
添加:
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.159.31:11211" #这个IP为memcached的服务器的IP
sticky="false"
lockingMode=&q ...
keepalived + nginx + tomcat来实现HA的负载均衡(HA=高可用)
注:
此文未考虑session共享 ---> 负载均衡tomcat时利用memcached实现session共享 请参考另一篇博客
设备:
两台keepalived + nginx keepalived和nginx同一台服务器都要安装 IP为 192.168.159.31和192.168.159.34
两台 tomcat服务器 IP为 192.168.159.32和192.168.159.33
第一步:nginx实现负载均衡
...
设备:2台realserver ; 2台(keepalived+lvs)
注:此处的虚拟IP为: 192.168.159.200
第一步:
在realserver主机上运行 这样做的目的是为了把虚拟VIP 隐藏
一:
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
echo 2 > /p ...
LVS DR模式 (这个使用的是ipvsadm,没有使用keepalived,另一篇博客介绍)
注:
DR虚拟机和realserver不是同一个虚拟机
第一步:
在DR虚拟机上运行 目的是添加虚拟主机
ifconfig eth0:1 192.168.159.200/24
运行了之后可以在cmd中 ping下 试试能不能ping通
第二步:
在realserver主机上运行 这样做的目的是为了把虚拟VIP 隐藏
一:
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 1 > ...
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。
HDFS有很多特点：
① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。
② 运行在廉价的机器上。（商用机）
③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。
echo "密码" | passwd --stdin root
这行命令 可以修改密码
1,首先vim /etc/ntp.conf
# For more information about this file, see the man pages
# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).
driftfile /var/lib/ntp/drift
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the ser ...
LINUX虚拟机ping不通外网：
ping 不通IP地址:
ping 119.75.217.56 #百度IP地址无法ping通
检查网关是否设置正确：/etc/sysconfig/network GATEWAY=192.168.1.1
ping 不通域名: ping www.baidu.com
检查域名是否设置正确：/etc/resolv.conf
增加：nameserver 192.168.1.1(网关)
vim /etc/crontab
# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri ...