Apache Hadoop项目简介
Core---- 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)
Avro---- 一种提供高效、跨语言PRC的数据序列化系统,持久化数据存储。
MapReduce----分布式数据处理模式和执行环境,运行于大型商用机集群;
HDFS----分布式文件系统,运行于大型商用机集群;
ZooKeeper----一个分布式的、高可用性的协调服务;
Pig---- 一种数据流语言和运行环境,用以检索非常大的数据集,运行在MapReduce和HDFS集群上;
Chukwa------ 分布式数据收集和分析系统;
Hive--- 分布式数据仓库,Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据;
Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。
其中MapReduce和HDFS是Hadoop的核心
相关推荐
Hadoop 相关项目简介,hadoop生态体系涉及到的组件的大概介绍
Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop API Hadoop环境搭建
项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行hadoop集群。 本书结合丰富的案例来展示如何用hadoop...
hadoop学习总结,包含HDFS简介,HDFS读写过程解析、Map-Reduce入门、Map-Reduce的过程解析、Hadoop的运行痕迹
书籍目录: 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 了解分布式系统和Hadoop 1.4 比较SQL 数据库和Hadoop 1.5 理解MapReduce 1.5.1 动手...
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零学习Kerberos安全认证机制,并和Hadoop、YARN、HIVE进行集成,通过知识点 + 案例教学法帮助小白快速掌握...
使用Hadoop构建云计算平台内容简介:• 核心框架: HDFS和MapReduce• MapReduce — 任务的分解与结果的汇总• HDFS — Hadoop Distributed File System• — 分布式计算的基石Hadoop是一个Apache的开源项目;...
HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google ...
5.2.1 Hadoop项目简介 370 5.2.2 Hadoop环境搭建 374 5.2.3 MapReduce编写 384 5.2.4 Hive使用 389 5.3 流式数据分析 403 5.3.1 Storm的介绍 404 5.3.2 安装部署Storm 407 5.3.3 Storm的使用 418 ...
资源名称:vmware虚拟机下hadoop集群安装过程内容简介: Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来...
《Hadoop权威指南(第2版)》从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理...开源项目Hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。
出版信息编辑译者:韩冀中出版社:人民邮电出版社出版时间:2011年10月版次:1.1开本:16开装帧:平装字数:417千字页数:253页内容简介编辑作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,...
《hadoop权威指南(第2版)》从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hadoop这一高性能处理...开源项目hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。
《hadoop权威指南(第2版)》从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hadoop这一高性能处理...开源项目hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。
项目负责人TomWhite透过本书详细阐述了如何使用Hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行Hadoop集群。 本书结合丰富的案例来展示如何用Hadoop...
项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行hadoop集群。 本书结合丰富的案例来展示如何用hadoop...
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
这是一个简单的web与hadoop2.2.0连接的项目,里面包含了hadoop的配置文件,和相应的hadoop jar包(精简后的包)项目实现基于hadoop的搜索引擎的在线处理部分。 【实例截图】 【核心代码】 BBSOnline └── ...
资源名称:Hadoop云计算一体机实践指南内容简介:全书分为3篇:第1篇(理论部分)对云计算、Hadoop及Linux操作系统进行了简单介绍;第2篇(基础实践部分)主要详细介绍了cemOs系统的安装和集群的搭建、Hadoop集群的常用...