`
cfyme
  • 浏览: 266305 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hadoop项目简介

 
阅读更多

Apache Hadoop项目简介 

 

Core---- 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)

Avro---- 一种提供高效、跨语言PRC的数据序列化系统,持久化数据存储。

MapReduce----分布式数据处理模式和执行环境,运行于大型商用机集群;

HDFS----分布式文件系统,运行于大型商用机集群;

ZooKeeper----一个分布式的、高可用性的协调服务;

Pig---- 一种数据流语言和运行环境,用以检索非常大的数据集,运行在MapReduce和HDFS集群上;

Chukwa------ 分布式数据收集和分析系统;

Hive--- 分布式数据仓库,Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据;

Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。

 

其中MapReduce和HDFS是Hadoop的核心

分享到:
评论

相关推荐

    HADOOP 相关项目简介

    Hadoop 相关项目简介,hadoop生态体系涉及到的组件的大概介绍

    Hadoop技术讲解

    Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop API Hadoop环境搭建

    Hadoop权威指南 中文版

    项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行hadoop集群。  本书结合丰富的案例来展示如何用hadoop...

    Hadoop学习总结

    hadoop学习总结,包含HDFS简介,HDFS读写过程解析、Map-Reduce入门、Map-Reduce的过程解析、Hadoop的运行痕迹

    Hadoop实战中文版

    书籍目录: 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 了解分布式系统和Hadoop 1.4 比较SQL 数据库和Hadoop 1.5 理解MapReduce 1.5.1 动手...

    小白快速掌握Hadoop集成Kerberos安全技术频教程

    手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零学习Kerberos安全认证机制,并和Hadoop、YARN、HIVE进行集成,通过知识点 + 案例教学法帮助小白快速掌握...

    使用Hadoop构建云计算平台

    使用Hadoop构建云计算平台内容简介:• 核心框架: HDFS和MapReduce• MapReduce — 任务的分解与结果的汇总• HDFS — Hadoop Distributed File System• — 分布式计算的基石Hadoop是一个Apache的开源项目;...

    大型分布式网站架构与实践

     5.2.1 Hadoop项目简介 370  5.2.2 Hadoop环境搭建 374  5.2.3 MapReduce编写 384  5.2.4 Hive使用 389  5.3 流式数据分析 403  5.3.1 Storm的介绍 404  5.3.2 安装部署Storm 407  5.3.3 Storm的使用 418  ...

    vmware虚拟机下hadoop集群安装过程

    资源名称:vmware虚拟机下hadoop集群安装过程内容简介: Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来...

    大数据云计算技术系列 Hadoop之Hbase从入门到精通(共243页).pdf

    HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google ...

    Hadoop权威指南.pdf

    《Hadoop权威指南(第2版)》从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理...开源项目Hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。

    Hadoop实战中文版.PDF

    出版信息编辑译者:韩冀中出版社:人民邮电出版社出版时间:2011年10月版次:1.1开本:16开装帧:平装字数:417千字页数:253页内容简介编辑作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,...

    hadoop权威指南(第2版)

    《hadoop权威指南(第2版)》从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hadoop这一高性能处理...开源项目hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。

    hadoop权威指南(中文第2版)

    《hadoop权威指南(第2版)》从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hadoop这一高性能处理...开源项目hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。

    Hadoop: The Definitive Guide

    项目负责人TomWhite透过本书详细阐述了如何使用Hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行Hadoop集群。 本书结合丰富的案例来展示如何用Hadoop...

    Hadoop 权威指南(中文版)

    项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行hadoop集群。  本书结合丰富的案例来展示如何用hadoop...

    hadoop+hive+mapreduce的java例子

    基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...

    基于hadoop搜索引擎 在线处理.rar

    这是一个简单的web与hadoop2.2.0连接的项目,里面包含了hadoop的配置文件,和相应的hadoop jar包(精简后的包)项目实现基于hadoop的搜索引擎的在线处理部分。 【实例截图】 【核心代码】 BBSOnline └── ...

    Hadoop云计算一体机实践指南

    资源名称:Hadoop云计算一体机实践指南内容简介:全书分为3篇:第1篇(理论部分)对云计算、Hadoop及Linux操作系统进行了简单介绍;第2篇(基础实践部分)主要详细介绍了cemOs系统的安装和集群的搭建、Hadoop集群的常用...

Global site tag (gtag.js) - Google Analytics