`
cfyme
  • 浏览: 264095 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Hadoop项目简介

 
阅读更多

Apache Hadoop项目简介 

 

Core---- 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)

Avro---- 一种提供高效、跨语言PRC的数据序列化系统,持久化数据存储。

MapReduce----分布式数据处理模式和执行环境,运行于大型商用机集群;

HDFS----分布式文件系统,运行于大型商用机集群;

ZooKeeper----一个分布式的、高可用性的协调服务;

Pig---- 一种数据流语言和运行环境,用以检索非常大的数据集,运行在MapReduce和HDFS集群上;

Chukwa------ 分布式数据收集和分析系统;

Hive--- 分布式数据仓库,Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据;

Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。

 

其中MapReduce和HDFS是Hadoop的核心

分享到:
评论

相关推荐

    HADOOP 相关项目简介

    Hadoop 相关项目简介,hadoop生态体系涉及到的组件的大概介绍

    Hadoop技术讲解

    Hadoop项目简介 HDFS体系结构 HDFS关键运行机制 Hadoop VS.Google(分布式文件系统) Hadoop API Hadoop环境搭建

    Hadoop权威指南 中文版

    项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行hadoop集群。  本书结合丰富的案例来展示如何用hadoop...

    Hadoop学习总结

    hadoop学习总结,包含HDFS简介,HDFS读写过程解析、Map-Reduce入门、Map-Reduce的过程解析、Hadoop的运行痕迹

    Hadoop实战中文版

    书籍目录: 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 了解分布式系统和Hadoop 1.4 比较SQL 数据库和Hadoop 1.5 理解MapReduce 1.5.1 动手...

    小白快速掌握Hadoop集成Kerberos安全技术频教程

    手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零学习Kerberos安全认证机制,并和Hadoop、YARN、HIVE进行集成,通过知识点 + 案例教学法帮助小白快速掌握...

    使用Hadoop构建云计算平台

    使用Hadoop构建云计算平台内容简介:• 核心框架: HDFS和MapReduce• MapReduce — 任务的分解与结果的汇总• HDFS — Hadoop Distributed File System• — 分布式计算的基石Hadoop是一个Apache的开源项目;...

    大数据云计算技术系列 Hadoop之Hbase从入门到精通(共243页).pdf

    HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google ...

    大型分布式网站架构与实践

     5.2.1 Hadoop项目简介 370  5.2.2 Hadoop环境搭建 374  5.2.3 MapReduce编写 384  5.2.4 Hive使用 389  5.3 流式数据分析 403  5.3.1 Storm的介绍 404  5.3.2 安装部署Storm 407  5.3.3 Storm的使用 418  ...

    vmware虚拟机下hadoop集群安装过程

    资源名称:vmware虚拟机下hadoop集群安装过程内容简介: Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来...

    Hadoop权威指南.pdf

    《Hadoop权威指南(第2版)》从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理...开源项目Hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。

    Hadoop实战中文版.PDF

    出版信息编辑译者:韩冀中出版社:人民邮电出版社出版时间:2011年10月版次:1.1开本:16开装帧:平装字数:417千字页数:253页内容简介编辑作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,...

    hadoop权威指南(第2版)

    《hadoop权威指南(第2版)》从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hadoop这一高性能处理...开源项目hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。

    hadoop权威指南(中文第2版)

    《hadoop权威指南(第2版)》从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hadoop这一高性能处理...开源项目hadoop作为它的一个具体实现,可以轻松用于构建和维护一个可靠性高、伸缩性强的分布式系统。

    Hadoop: The Definitive Guide

    项目负责人TomWhite透过本书详细阐述了如何使用Hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行Hadoop集群。 本书结合丰富的案例来展示如何用Hadoop...

    Hadoop 权威指南(中文版)

    项目负责人tomwhite透过本书详细阐述了如何使用hadoop构建可靠、可伸缩的分布式系统,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装和运行hadoop集群。  本书结合丰富的案例来展示如何用hadoop...

    hadoop+hive+mapreduce的java例子

    基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...

    基于hadoop搜索引擎 在线处理.rar

    这是一个简单的web与hadoop2.2.0连接的项目,里面包含了hadoop的配置文件,和相应的hadoop jar包(精简后的包)项目实现基于hadoop的搜索引擎的在线处理部分。 【实例截图】 【核心代码】 BBSOnline └── ...

    Hadoop云计算一体机实践指南

    资源名称:Hadoop云计算一体机实践指南内容简介:全书分为3篇:第1篇(理论部分)对云计算、Hadoop及Linux操作系统进行了简单介绍;第2篇(基础实践部分)主要详细介绍了cemOs系统的安装和集群的搭建、Hadoop集群的常用...

Global site tag (gtag.js) - Google Analytics