Hadoop(三)之HDFS简单介绍

 

    刚启动了hdfs , 那么你就可以通过在浏览器中输入 localhost : 50070 来查看当前的namenode , datanode 以及 hdfs的状态

   

   在配置文件中 ，配置的9000 ， 9001端口是干什么用的?为什么这里通过浏览器访问的时候，用的是

   50070端口?

    这个9000表示系统请求到达的端口 ，用户是不能访问到的

    要获得namenode的信息，那就向这个端口发信息.只不过是系统来发.

 

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 

   hdfs-default.xml 与 hdfs-site.xml?

      hdfs-default.xml 则是当hdfs启动时 默认去加载的xml文件，hdfs-site.xml则是

      对hdfs-default.xml中的一些属性值进行修改，然后，加载hdfs-default.xml会使用这些新的

      属性值!

    

 

   hdfs是什么？在linux文件系统中它存在哪里？hadoop.tmp.dir是干什么用？

   通过在上面的浏览器中，看到hdfs跟linux中的文件系统都是一样 ， 一个 "/" 下来....

   分布式文件系统 ， 集群中存储文件，通过这个Hdfs来进行管理，机子与机子之间通过

   网络进行通信 , 来分享文件。

   Hdfs是一种master/slave的架构，有一个节点是master,相当于调度器一样，其他 节点都是slave

  他们的文件系统的metedata都存储在master上.

  hdfs主要分namenode 和 datanode , namenode 放在master机子上，只有一个，存储整个集群中，

  多少文件的metedata ， datanode则每个slave中都有，负责存储数据。

  所以，hdfs就是在集群(分布式)的环境中，帮你管理数据，使得这些数据对用户或者程序员看来就像在

  一台机器上的文件系统一样 , 注意这句话："一次写多次读!!!"。

 

  tmp.dir就是存储datanode 和 namenode数据的地方，可是当我打开这个文件夹的时候，里面并没有文件系统

  树一样的表示形式，而是一些文件.这个，其实想想，类似windown的文件系统表示形式，它只是为了方便与用户

 进行交互，而额外写的这些客户端程序，就像linux中，如果你用命令行，那同样你不看不到文件系统！！ 

 文件系统，就是一道程序或者一个应用，就像webapp , 部署好应用后，后台就会有应用启动，接收请求，然后后台

 程序就会根据你的请求进行处理。同样的道理，如果你不写前端代码，你启动后台的时候，你通过url传入请求，同样可以

 得到想要的结果。！！这里就解释了hdfs文件系统在那这个问题吧!!!!(还是用久了window ， 老觉得文件系统就应该有一个

  想他一样的表示形式才叫文件系统!!!!)

 

  NameNode  

   (接收用户请求)

   fsimage ： 文件系统镜像，每次启动文件系统能跟上次一样，因为所有文件的metedata都存储在这个

  文件里面.

   edits : 操作日志， 事务文件

 

  SecondaryNameNode

   从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，

   并将其推送到NameNode，同时重置NameNode的edits.

   可以这样理解吗，当我们上传一个文件时，并没有立马在fsimage中写入该文件的metadata， 而是先写入

   edits日志文件，然后通过secondrayNameNode , 合并edits与fsimage ， 也就是将操作后的metadata写入

   fsimage。

   但是 ， 为什么要交给secondaryNameNode来处理?

     分工，namenode的快速响应。

 

   DataNode

   (存储数据)

   Block ： 基本的存储单位

    Replication ： 副本 ， 默认三个 hdfs-site.xml的dfs.replication属性

 

   DFSClient , DataNode , NameNode之间的通信：

   图片来源 ： 智障大师

   

 

  可以简单的看成HDFS由这三个对象组成，三则之间的通信通过箭头表示了，箭头所指的一方就是

  请求的接收者，也就是处理请求的，另一端则是发起者，所以，由图可知，NameNode就是一个纯粹的

  处理，服务器，它不会主动向其他对象发起请求，试想一下，仅有一个NameNode节点的HDFS如果还得

  向DataNode , Client发起请求的话，负载不就增加了吗?再者，它就像一个仲裁者或者调度器一样，不会他找别人

  只有别人找他！

  DataNode 除了应对Client端的读写请求外，还会周期性的发送心跳到NameNode , 表示他还还活着，同时，心跳的返回

  信息中，还可能包含有NameNode对DataNode的控制数据信息。同时，DataNode节点之间也会有消息传递，比如数据备份。

 

  所有的这些通信都是基于RPC！

 

     

   

   hdfs 命令的一点总结

   一般格式 ：

     hdfs  [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

    比如 hdfs dfs -ls  -h /

    hdfs 表示这是在hadoop 的 dfs 中，而不是linux的文件系统中

    dfs表示这是对dfs的操作, -ls 则是 dfs操作中的某一种 ， -h 则是这种操作

    的一种可选项 , / 则是操作对象 , 或则理解成一个方法必须有的参数

    

-lsr  <目录名> 递归查看
-put  <linux本地文件>  <hdfs目录地址>  上传文件 (如果hdfs目录地址/a不存在，则会创建一个文件a)
-get ......................... 下载hdfs文件到linux中 参数与put相反
-text  <hdfs文件地址>  查看文件
-rm  <地址>  删除文件
- rmr <地址>  删除目录
-help <命令名> 查看命令

   

hdfs dfs -ls hdfs://localhost:9000/
这样 同样可以访问到根目录下的文件 有点像webapp了！

 

   

   参考资源 ：Jeoygin  HDFS概述     

                     吴超的HDFS视频