OiteBody
- 浏览: 168812 次
- 性别:
- 来自: 南京
-
文章分类
- 全部博客 (159)
- linux&运维 (23)
- Hbase&Phoenix (10)
- develop tools (18)
- mysql (8)
- Hadoop&Ambari&HDP (26)
- J2EE (10)
- mongodb (5)
- python (6)
- 实时计算&spark&storm (9)
- 日志收集&nginx&flume&kafka&nxlog (4)
- docker (1)
- 项目及版本管理&git&maven (7)
- 搜索引擎&lucene&Elasticsearch (15)
- web&bootstrap&js (2)
- 网络&操作系统 (9)
- vmware&虚拟化 (5)
- spring&spring-boot&springMVC (1)
- 测绘&切片&地图 (1)
最新评论
分享到：
发表评论
-
ambari hdp卸载重装
2016-09-14 16:45 4018参考： 清理ambari安装的hadoop集群 ... -
How to fix missing block in Hadoop HDFS
2016-08-26 09:00 830检测hdfs文件系统 hdfs fsck / ... -
查看Hadoop组件版本
2016-08-25 16:22 2405查看Hadoop版本 [root@datacub ... -
Spark与MR输出文件排序比较
2016-07-25 17:46 1473假设任务的输出存到HDFS，那么输出的HDFS文件个 ... -
Hadoop 磁盘限额配置
2016-07-12 11:30 660应用场景： 同一个集群内有些服务器磁盘 2T，有些服务 ... -
MapReduce输出格式
2016-07-08 12:38 592参考： MapReduce输出格式； -
Ambari throws error E090 HDFS030 Error in creation reation
2016-06-17 10:08 984参考： http://quabr.com/34 ... -
Hadoop查看作业状态Rest接口
2016-06-13 17:42 2095所有任务 http://datacube154: ... -
Java连接hdfs指定用户名
2016-05-27 16:49 2933HDFS客户端的权限错误：Permission de ... -
获取hadoop集群信息
2016-05-17 12:05 1354hadoop的restful接口 获取hadoop ... -
ambari卸载服务
2016-05-13 09:51 3045ambari卸载服务的格式及步骤 -- 用 Re ... -
ambari 踩过的坑
2016-05-04 15:31 14595离线制作安装源： 1、挂载镜像到/mnt下，并创建 ... -
后台修改cloudera manager用户信息
2016-01-13 11:14 14131、后台修改cloudera manager管理用户admi ... -
cloudera manager资源管理
2015-11-27 15:55 684最近工作中，正在将mapreduce计算框架向spark迁移 ... -
Could not load db driver class: oracle.jdbc.OracleDriver
2015-10-14 12:43 2296$ sqoop export --connect $ ... -
waiting for slaving
2015-10-13 18:58 4691、提交job后，一直停在running job < ... -
Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
2015-09-29 15:39 1229缺少相关依赖。 解决办法： TableMa ... -
对象反序列化readFields时报Error: java.lang.NullPointerException
2015-09-29 15:38 1403场景：在使用自定义对 ... -
hive查询和分区
2015-09-23 11:34 1182hive获取系统时间： hive> sele ... -
Hadoop Kerberos安全机制 委托令牌
2015-07-27 15:56 1424Hadoop 安全问题： 早起版本的HDF ...
相关推荐
HDFS概述，HDFS客户端操作，HDFS数据流，namenode工作机制，datanode工作机制，HDFS 高可用集群配置
本文主要讲述HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1、NameNode2、DataNode3、SencondaryNameNodeNamenode的目录结构：dfs.name.dir是hdfs-site.xml里配置的若干个目录组成的...
从源代码角度深入分析Common和HDFS的架构设计与实现原理，为Hadoop的优化、定制和扩展提供原理性指导。从源代码中参透分布式技术精髓与分布式系统设计的优秀思想和方法。 由于cdsn上传文件大小的限制，只好将文件...
Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理.pdf
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节...
Hadoop 技术内幕：深入解析Hadoop Common 和HDFS 架构设计与实现原理
大数据HDFS架构原理.pdf
分布式文件系统HDFS原理与操作,分布式文件系统HDFS原理与操作
保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 2. 运行在廉价的机器上。 3. 适合大数据的处理。HDFS默认会将文件分割成block，64M为1个block。 然后将block按键值对存储在HDFS上，并将键值对...
自己的笔记，仅供参考，包含HDFS的启动停止，HDFS基本原理（上传文件、连接校验，下载文件，数据存储位置，通信机制，namenode和DataNode职责，元数据工作机制），java端操作HDFS的基本方法
Hadoop+HDFS和MapReduce架构浅析
对于HDFS工作原理的部门简单介绍。
HDFS架构 HDFS架构图 1 NameNode 2 SecondaryNameNode 3 DataNode 4 Hearbeats 5 Block块 6 目 录 一、HDFS架构图 HDFS的架构是较为经典的主/从架构，在架构图中NameNode是主节点，DataNode是从节点，HDFS Client是...
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔，对Common和HDFS的源代码进行了分析，旨在为Hadoop的优化、定制和扩展提供原理性的指导。...
Hadoop分布式文件系统（ HDFS ）是一种旨在在商品硬件上运行的分布式文系统。它与现有的分布式文件系统许多相似之处。 但是，与其他分布式文件系统的区别很明显。 HDFS 具有高度的容错能力，旨在部署低成本硬件上。 ...
HDFS原理、应用场景、架构-誉天版，对HDFS及其命令进行了详细介绍
Hadoop介绍，HDFS和MapReduce工作原理
Hadoop技术内幕-深入解析HADOOP COMMON和HDFS架构设计与实现原理