博客首页 → hdfs

最新文章列表

(转)HDFS里Datanode上block大小的设置问题

转载自：http://blog.csdn.net/pear_zi/article/details/8082752 在HDFS里面，data node上的块大小默认是64MB(或者是128MB或256MB)   问题: 为什么64MB(或128MB或256MB)是最优 ...
hdfsblock size 
ChenghuiZ 评论(0) 有1160人浏览 2017-06-28 15:15

(转)HDFS NameNode内存详解

转载自：http://tech.meituan.com/namenode-memory-detail.html 小桥 ·2016-12-09 17:56 前言 《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内 ...
HDFSNameNode内存详解 
ChenghuiZ 评论(0) 有441人浏览 2017-06-27 09:59

(转)HDFS NameNode内存全景

转载自:http://tech.meituan.com/namenode.html 小桥 ·2016-08-26 11:20 一、概述 从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地 ...
hdfsNameNode内存 
ChenghuiZ 评论(0) 有681人浏览 2017-06-27 09:54

hadoop源码解析之hdfs内部结构分析

概述 命名空间Namesystem 文件目录管理 i-node介绍 linux i-node介绍 hdfs的 INode介绍 INodeFile INodeDirectory 块管理 数据块BlockInfoContiguous 集群中所有的块的管理 DatanodeStorageInfo 数据节点存储 总结  http:// ...
hadoop源码分析结构hdfs 
zhangjun5965 评论(0) 有2135人浏览 2017-05-30 19:22

hadoop源码解析之hdfs读取数据全流程分析

概述 DataXceiverServer介绍 了解DataXceiverServer 初始化工作 工作原理 DataXceiver介绍 Op类介绍 处理逻辑 BlockSender 读取数据 传统方式实现数据传输 零拷贝实现数据传输 原理 具体操作 客户端读数据流程分析 java api读取数据 构造DFSInputSt ...
hadoophdfs读数据源码流程 
zhangjun5965 评论(0) 有4134人浏览 2017-05-20 20:10

E-MapReduce集群中HDFS服务集成Kerberos

前置: 创建E-MapReduce集群，本文以非HA集群的HDFS为例 HDFS服务在hdfs账号下启动 HDFS软件包路径/usr/lib/hadoop-current，配置在/etc/emr/hadoop-conf/ 一、 安装 配置Kerberos 1. 安装Kerberos master节点执行: sudo yum install krb5-server krb5-devel krb5- ...
hadoophdfs 
15234269605 评论(0) 有10人浏览 2017-05-10 15:04

E-MapReduce集群启停HDFS/YARN服务

启停HDFS服务 HDFS服务启停，下面脚本需要在master节点运行，切需要在hdfs账号下。su hdfs 启动HDFS 执行下面脚本 #!/bin/bash worker_cnt=`cat /etc/hosts | grep emr-worker | grep cluster | wc -l` master_cnt=1 ha_flag=`grep -r high_availability ...
大数据hdfs 
15234269605 评论(0) 有15人浏览 2017-05-10 15:03

关于Java程序向Hive导入数据的问题解决方法

解决方法： 1、使用Linux命令，如下： String tmpFile = "/tmp" + File.separator + TableUtil.TABLE_PREFIX_MAILING_MEMBER + "@" + mailListId + ".log"; String scp_command = String.form ...
hadoophivehdfsfile 
HogwartsRow 评论(0) 有966人浏览 2017-04-26 15:20

hadoop格式化HDFS报错java.net.UnknownHostException

报错信息：   host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error  在执行hadoop namenode -format命令时，出现未知的主机名。     问题原因：     出现这种问题的原因是Hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名与/etc/h ...
hadoophdfsUnknownHostException 
莫欺少年穷Java 评论(0) 有1477人浏览 2017-04-10 16:08

hive java 实例

      下载  jdo2-api-2.3-ec hive hdfs 所需jar  http://download.csdn.net/download/knight_black_bob/9725194   常见命令 hive 常见命令 create table test(uid string,name string)row format delimited fields ter ...
hivejavahdfs 
knight_black_bob 评论(0) 有1541人浏览 2016-12-30 10:40

storm kafka hdfs 详细

     package com.curiousby.baoyou.cn.storm; import java.util.UUID; import org.apache.storm.hdfs.bolt.HdfsBolt; import org.apache.storm.hdfs.bolt.format.DefaultFileNameFormat; import org. ...
stormkafkahadoophdfsredis
knight_black_bob 评论(0) 有2167人浏览 2016-12-29 10:32

《自己动手写云盘》 – 系统架构及技术选型

  系统架构 在上一篇《自己动手写云盘》 – 确立需求博文中提出要实现的功能，鉴于这些功能，可以确定该系统如下架构：  其中以HDFS分布式文件系统作为底层文件系统，在此之上搭建HBase分布式数据库，同时
自己动手写云盘云计算大数据HDFSHBase 
Chicago09 评论(0) 有3298人浏览 2016-12-01 22:15

spark (4)spark-shell 读写hdfs 读写redis 读写hbase

  (1)初学者对于spark的几个疑问 http://aperise.iteye.com/blog/2302481 (2)spark开发环境搭建 http://aperise.iteye.com/blog/2302535 (3)Spark Standalone集群安装介绍 http ...
sparkspark-shellhdfsredishbase 
zilongzilong 评论(0) 有5939人浏览 2016-09-13 20:25

Hadoop HDFS Shell命令

HDFS介绍：http://blog.sina.com.cn/s/blog_67331d610102v3wl.html Hadoop Shell命令 参考教程：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的 ...
HadoopHDFSshell 
zhongmin2012 评论(0) 有757人浏览 2016-06-15 15:57

使用MapReduce对数据文件进行切分

  有一个格式化的数据文件，用\t分割列，第2列为产品名称。现在需求把数据文件根据产品名切分为多个文件，使用MapReduce程序要如何实现？ 原始文件： [root@localhost opt]# cat aprData 1       a1      a111 2       a2      a211 3       a1      a112 4       a1      a1 ...
hadoopmapreducepartitionhdfsMultipleOutPuts
yehao0716 评论(0) 有5727人浏览 2016-05-01 22:53

HDFS原理 架构和副本机制

第一部分：当前HDFS架构详尽分析      HDFS架构 •NameNode •DataNode •Sencondary NameNode   数据存储细节 NameNode 目录结构 Namenode 的目录结构：            ${ dfs.name.dir}/current /VERSION                     ...
HDFS原理架构副本 
aoyouzi 评论(0) 有5276人浏览 2016-04-17 08:45

HDFS体系结构和Java操作API

1.HDFS体系结构与基本概念 1.1.NameNode (1)作用 是整个文件系统的管理节点，它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表，接受用户的操作请求。 (2)目录结构
HDFS体系结构Java API 
aoyouzi 评论(0) 有2213人浏览 2016-04-16 15:13

Java API读写HDFS

HDFS是Hadoop生态系统的根基，也是Hadoop生态系统中的重要一员，大部分时候，我们都会使用Linux shell命令来管理HDFS，包括一些文件的创建，删除，修改，上传等等，因为使用shell命令操作HDFS的方式，相对比较简单，方便，但是有时候，我们也需要通过编程的方式来实现对文件系统的管理。 比如有如下的一个小需求，要求我们实现读取HDFS某个文件夹下所有日志，经过加工处理后在写入 ...
JavaAPI读写HDFS 
aoyouzi 评论(0) 有4733人浏览 2016-04-10 20:34

elasticsearch 备份数据到 hdfs

    1.介绍 大多数公司在使用 Elasticsearch 之前，都已经维护有一套 Hadoop 系统。因此，在实时数据慢慢变得冷却，不再被经常使用的时候，一个需求自然而然的就出现了：怎么把 Elasticsearch 索引数据快速转移到 HDFS 上，以解决 Elasticsearch 上的磁盘空间；而在我们需要的时候，又可以较快的从 HDFS 上把索引恢复回来继续使用呢？ Elas ...
hadoophdfselasticsearch 
susenshine 评论(0) 有7752人浏览 2016-03-28 16:19

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics