2. 目录结构:
关于Hadoop
什么是Hadoop ?
Hadoop 是apache 子项目 专注于分布式计算的 稳定高效标准的开源软件体系。
模块:
Hadoop Common :公用类支出协同模块
Hadoop Distributed File System (HDFS):分布式文件系统
Hadoop YARN :定时任务和集群资源管理框架(2.x版本,1.x版本没有)
Hadoop MapReduce :并行处理大数据
文档信息
http://hadoop.apache.org/docs/current/
相关子项目
*Ambari:一个基于网络的工具,配置,管理,监控的Apache Hadoop集群包括Hadoop HDFS及其Hadoop体系的性能诊断的管理工具。
Avro : 系列化系统
Cassandra:可扩展的多主数据库没有单点故障(HA)
Chukwa一种用于管理大型分布式系统的数据采集系统。
*HBase:一个可扩展的,支持大型表的结构化数据存储的分布式数据库。
*Hive:数据仓库的基础设施,提供数据汇总和专案查询。
*Mahout:一个可扩展的机器学习和数据挖掘库。(用于数据挖掘)
Pig :一个高层次的数据流语言支持并行计算的一种框架。
*Spark::一个对Hadoop数据进行快速整体计算。它提供了一个简单而富有表现力的编程模型,支持多种应用,包括ETL,机器学习,数据流处理,和图形计算。
Tez:广义的数据流编程框架,基于Hadoop Yarn,它提供了一个强大和灵活的引擎执行任务的任意DAG为批处理和交互式的使用情况。tez被Hive,Pig及Hadoop生态系统中的其他框架广泛采用,在Hadoop生态猪™等框架,以及其他的商业软件(如ETL工具),以取代Hadoop MapReduce™作为底层的执行引擎。
*zookeeper:一个高性能协调分布式程序的应用。
相关推荐
本文档是对自己学习hadoop的一个小测试,适合初学hadoop的人士观看。
适合Hadoop初学者安装Hadoop
本文来自近一周从零开始摸索的操作的笔记 在此过程中得感谢XXTV 感谢互联网 整理出来一是自己备忘 二是希望能初学Hadoop的人一些参考 并节约宝贵时间 本文分两部分 第一部分为Hadoop2 5 1集群的架设 基于CentOS 7...
初学者使用(CentOS6.5),内函配置服务器,配置ssh无密码访问,安装jdk,安装hadoop,配置hadoop
hadoop-0.20.2 这个是hadoop的老版本,如果正在初学hadoop的话,可以使用这个。我也正在用这个学习hadoop
centos6.5 32位下编译的,编译花了一下午时间,所以分享给那些初学hadoop的人
hadoop入门实战手册,方便快速入门,想从事hadoop方面的初学者必备。
单位的hadoop,ppt培训材料,适合初学者
适用于初学Hadoop,内容涵盖安装、配置、上手开发联系、Eclipse IDE及插件使用,并带有一个无Reduce和一个含Reduce样例。
本书主要介绍Hadoop技术的相关知识,不但详细介绍了Hadoop、MapReduce、HDFS、Hive和Sqoop,还深入探讨了Hadoop的运维和调优,并包含了一个具有代表性的完整的基于Hadoop的商业智能系统的设计和实现。, 本书的最大...
初学Hadoop时试验搭建很多次的集群部署方案,步骤很详细。hadoop-2.6.5.tar.gz zookeeper-3.4.10.tar.gz Hbase1.2.6 ,两个nameNode+三dataNode
网上很难找的hadoop代码,很适合初学或想从事大数据方向的程序猿,心动者赶紧下载。
对大数据的初学者来说,搭建一个Hadoop大数据基础平台不是一件容易的事;对于企业,如果要部署由成千上万的节点组成的Hadoop集群,手工方式部署显然不符合实际。 而由Hortonworks贡献给Apache开源社区的Ambari则提供...
例,任务跑完就自动释放掉服务器,本文记录下 Hadoop 集群的搭建过程,方便自己日后查看,也希望能帮到初学者,本文所有软 件都是通过 yum 安装,大家也可以下载相应的二进制文件进行安装,使用哪种方式安装,从属...
包含hadoop3.0.0+win10系统需要替换的bin文件夹 配合博文使用更佳 https://blog.csdn.net/qq_32927563/article/details/131362606
讲述了Windows平台的Hadoop安装... 最后,以最简单的求和为例,剖析Hadoop的Map/Reduce工作机制,对于初学Hadoop及Map/Reduce的读者有很大的帮助。相信通过最简单的求和为例,读者可步入Hadoop的Map/Reduce开发者行列。
Hadoop编程书籍,由浅入深,介绍Hadoop编程,特别适合初学者以及企业开发人员以及大学生以及其他深造学习者
在这个项目中例举了多个Hadoop的例子。主要给Hadoop初学者提供一些了解Hadoop的例子。
部署的环境有瑕疵 ,hadoop hadoop 令初学者望而却步 令初学者望而却步 令初学者望而却步 令初学者望而却步 。本节 。本节 将深入浅出的讲解 将深入浅出的讲解 将深入浅出的讲解 将深入浅出的讲解 hadoop hadoop ...