最新文章列表

深入理解HDFS:Hadoop分布式文件系统

  这篇文章主要介绍了Hadoop中HDFS分布式文件存储有关知识,写的很详细,很棒。 本来想转载传上来的,奈何上传时老提示有敏感词,但又不指出敏感词的位置,字数比较多实在改不了,所以只能把地址放在这里了,大家可以跳过去看看。   原文地址:https://blog.csdn.net/bingduanlbd/article/details/51914550
langgufu 评论(0) 有310人浏览 2019-10-31 15:52

hbase-ha 安装

  hbase-ha  安装 -1.目标: 10.156.50.35 hmaster 10.156.50.36 hmaster 10.156.50.37 hregionserver   0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.5 ...
knight_black_bob 评论(0) 有758人浏览 2019-06-12 15:14

sqoop1 mysql to hdfs

  0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 ...
knight_black_bob 评论(0) 有640人浏览 2019-06-03 13:20

hive-ha 安装

hive-ha 安装     0.准备工作 hadoop 服务器   10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.ba ...
knight_black_bob 评论(0) 有810人浏览 2019-05-29 10:12

hadoop UnsupportedFileSystemException 问题

使用hdfs操作文件的时候遇到以下两个异常: 1.java.io.IOException: No FileSystem for scheme: hdfs 2.org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file"   类似No FileSystem for ...
278653219 评论(0) 有2557人浏览 2018-08-15 10:50

java 远程连接Pseudo-Distributed Hadoop

本文主要描述如何实现在一台Linux机器上搭建一个Pseudo-Distributed的Hadoop,在另外一台机器上通过API访问 服务器端环境搭建: 1.版本信息   java:1.8.0_172   Hadoop: 2.9.1 2.设置JAVA_HOME   在~/.bash_profile中追加如下内容     JAVA_HOME=/usr/java/jdk1.8.0_172- ...
fengyilin 评论(0) 有742人浏览 2018-06-04 09:09

HDFS联盟

一、搭建HDFS联盟的环境 1、规划: NameNode:  bigdata12   bigdata13 DataNode:  bigdata14   bigdata15 2、准备环境: (*)清除之前的配置 (*)安装JDK、修改/etc/hosts文件、关闭防火墙、免密码登录 3、在bigdata12上安装 core-site.xml <! ...
jin8000608172 评论(0) 有315人浏览 2018-05-13 20:23

HDFS的7个设计特点

1.Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的DataNode,最后一份放在与指定Da ...
加米谷大数据 评论(0) 有29人浏览 2018-04-04 14:34

简单概述企业级大数据云平台该如何规划

一、大数据云平台应当具备 Real time 实时 海量实时计算 数据实时录入 动态实时标签 平台实时监控 数据实时应用
威客方案 评论(0) 有68人浏览 2018-01-20 13:49

HDFS使用

一 HDFS命令行操作演示 [root@localhost ~]# hadoop fs -ls / Warning: $HADOOP_HOME is deprecated.   Found 1 items drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop   [root@localhost ~]# hadoop fs - ...
cakin24 评论(0) 有553人浏览 2017-10-18 21:32

HDFS特点

一 HDFS的特点 1、数据冗余,硬件容错 2、流式的数据访问 一次写入,多次读取 一旦写入,不会被修改 3、存储大文件   二 适用性和局限性 适合数据批量读写,吞吐量高 不适合交互式应用,低延迟很难满足 适合一次写入多次读取,顺序读写 不支持多用户并发写相同文件
cakin24 评论(0) 有1115人浏览 2017-10-17 21:22

HDFS中文件的读写操作

一 HDFS文件读取流程   二 HDFS文件写入流程    
cakin24 评论(0) 有899人浏览 2017-10-17 21:21

HDFS数据管理策略

一 数据块副本     二 容错性 1、DataNode1挂了,A节点就挂了,但可以在DataNode2和DataNode4上找到对应A节点。   2、机架1挂了,A、b、c、d、e节点就挂了,但可以在机架2中可以找到这些节点。     三 心跳检测     四 二级NameNode    
cakin24 评论(0) 有645人浏览 2017-10-15 09:39

HDFS的基本概念

一 块(Block) HDFS的文件被分成块进行存储,HDFS块的默认大小64MB,块是文件存储处理的逻辑单元   二 NameNode NameNode是管理节点,存放文件元数据 文件与数据块的映射表 数据块与数据节点的映射表     三 DataNode DataNode是HDFS的工作节点,存放数据块 <!--5f39ae17-8c62-4a45-bc43-b3 ...
cakin24 评论(0) 有974人浏览 2017-10-15 09:35

多语言版基础管理系统展示[es6版]-简单整合spring+tensorflow+ignite+hadoop

1.整合基于[多语言版基础管理系统展示[es6版] ] 2.整合的简单示意图如下,图2是在图1的基础上演化的结果 3.图1运行效果参考[多语言版基础管理系统展示[es6版]-简单整合tensorflow ] 4.相关知识自行补充 5.最新消息请关注[我的空间] 6.新增入门配置篇:  多语言版基础管理系统展示[es6版]-入门配置篇      2.  
minn84 评论(0) 有793人浏览 2017-08-05 18:14

hadoop源码解析之hdfs写数据全流程分析---创建文件

概述 DFSClient创建文件 namenode创建文件     http://zhangjun5965.iteye.com/admin/blogs/2386382 概述
zhangjun5965 评论(0) 有1014人浏览 2017-07-21 22:10

hadoop2.7.3源码解析之datanode注册和心跳机制

datanode注册和心跳 datanode注册 datanode心跳 namenode接收注册和心跳信息 DatanodeManager简单介绍 namednoe接收注册的信息 namenode 接收心跳信息  ht ...
zhangjun5965 评论(0) 有1342人浏览 2017-07-21 22:09

hadoop源码解析之hdfs写数据全流程分析---客户端处理

DFSOutputStream介绍 DFSOutputStream概况介绍 DFSOutputStream重要的变量 数据处理线程类DataStreamer 响应处理类ResponseProcessor 处理流程 客户端发数据到dataQueue DataStreamer处理dataQueue中的数据 处理错误 创建输出数据流,发送数据 向namenod ...
zhangjun5965 评论(0) 有1061人浏览 2017-07-21 22:08

Hadoop与Hive日志

1、包准备 http://archive.cloudera.com/cdh5/cdh/5/ hadoop-2.5.0-cdh5.3.0.tar.gz zookeeper-3.4.5-cdh5.3.0.tar.gz hive-0.13.1-cdh5.3.0.tar.gz https://repo1.maven.org/maven2/org/apache/hive/hive- ...
yangyangmyself 评论(0) 有3289人浏览 2017-07-08 11:33

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64570) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49874) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37266) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics