fengy20043
- 浏览: 4105 次
- 性别:
-
最新评论
文章列表
一、配置window环境
1、配置环境变量
HADOOP_HOME=
PATH=%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
配置hadoop中的etc\hadoop相关文件
2、hadoop-env.cmd
set JAVA_HOME=D:\Programming\Jdk\jdk1_8_91
3、core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localh ...
hadoop配置文件说明
- 博客分类：
- hadoop
一、dfs.name.dir
这个参数用于确定将HDFS文件系统的元信息保存在什么目录下。如果这个参数设置为多个目录，那么这些目录下都保存着元信息的多个备份。在实际生产中，一台机器一般会挂多块物理磁盘，这个配置项就会以多目录的方式配置，每个目录放到一个不同的磁盘中，避免机器中某块磁盘坏了无法恢复fsimage的灾难后果。
如：
<property> <name>dfs.name.dir</name> <value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value&g ...
一、flume配置
一台机器做负载均衡，二台服务器做存储hdfs
============================================
hadoop01
============================================
#声明Agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1
#声明source
a1.sources.r1.type = spoolDir
a1.sources.r1.spoolDir = /root/work/data/flumeData
...
开源实时日志分析ELK平台部署
- 博客分类：
- 大数据中日志收集
参考文章--http://www.tuicool.com/articles/QFvARfr
Chukwa在百度的应用实践
- 博客分类：
- 大数据中日志收集
参考文章---http://baidutech.blog.51cto.com/4114344/748261/
chukwa 在数据收集处理方面的应用
- 博客分类：
- 大数据中日志收集
浅谈 chukwa 在数据收集处理方面的应用
引入文章---https://www.ibm.com/developerworks/cn/opensource/os-cn-chukwa/