`
weitao1026
  • 浏览: 992584 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Cloudera的CDH和Apache的Hadoop的区别

 
阅读更多

目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:

(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache hadoop在兼容性,安全性,稳定性上有增强。

(2)CDH3版本是基于Apache  hadoop  0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。

(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证

(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。

(5)CDH支持Yum/Apt包,Tar包,RPM包,Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装。

注:CDH使用推荐的Yum/Apt包安装时,有以下几个好处:

1、联网安装、升级,非常方便

2、自动下载依赖软件包

3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。

4、自动创建相关目录并软链到合适的地方(如conf和logs等目录);自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限

分享到:
评论

相关推荐

    Cloudera CDH大数据平台搭建参考手册

    CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一...

    CDH-5.10.2集群的搭建.pdf

    而CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,全称Cloudera’s Distribution, including Apache Hadoop。 CDH提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR),还...

    CDH5.16安装手册.docx

    CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一...

    cdh6.1.0搭建手册.pdf

    CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建,是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放...

    CDH5.16.1安装视频.rar

    -----------CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一...

    Cloudera Essentials Training

    Cloudera essentials for Apache Hadoop Learn how Apache Hadoop addresses the limitations of traditional computing, helps businesses overcome real challenges, and powers new types of big data analytics....

    Cloudera Custom Training: Hands-On Exercises

    cdh练习手册,包含了hadoop,spark,hbase,impala等练习

    Cloudera_Administrator_Training_cdh5.pdf

    Cloudera Administrator Training for Apache Hadoop 英文版

    Practical Hadoop Ecosystem(Apress,2016)

    How to set up environment in Linux for Hadoop projects using Cloudera Hadoop Distribution CDH 5. How to run a MapReduce job How to store data with Apache Hive, Apache HBase How to index data in HDFS ...

    solr-7.0.0.tgz

    Cloudera Search作为Cloudera CDH(Cloudera's Distribution, including Apache Hadoop)产品的一个重要组成部分,基于Apache Solr开源项目进行构建,其使用了Lucene、SolrCloud、Apache Tika、Solr Cell等相关技术...

    Cloudera-Manager3安装步骤

    自己整理的安装步骤。CDH3的安装步骤 。

    安装hadoopCDH5安装服务步骤.doc

    CDH5安装手册:Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试,就...

    RPC-Heat-HDP:在Rackspace私有云上部署Apache Hadoop热模板

    将来可能会增加对Apache Hadoop和Cloudera CDH发行版以及Hadoop YARN的支持。 该模板使用配置服务器。 它部署了一个盐大师,以及许多盐小兵。 一小部分将是Hadoop主节点。 其余的奴才将是Hadoop数据节点。 可以在...

    基于Apache基于Apache-大数据平台技术框架选型分析

    Cloudera做Hadoop开发的,其他厂商仅是做Hadoop集成或CDH集成 和Hadoop trunk最快的同步,能保证业务的前向兼容性;其他厂商在 Hadoop上做的定制优化或修复,无法保证兼容性 所有组件的开发和专业支持能力,...

    CDH5离线安装和配置指南

    CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。 Cloudera Manager则是为了便于在...

    Cloudera Enterprise 5.8.x 中文文档

    Cloudera 提供一个可扩展、灵活、集成的平台,可用来方便地管理您的企业中快速增长的...业界领先的 Cloudera 产品和解决方案使您能够部署并管理 Apache Hadoop 及其相关项目、操作和分析您的数据以及保护数据的安全。

    CDH安装word

    CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

    CDH配置说明_20200414.docx

    作为业界第一的端到端 Apache Hadoop 的管理应用,Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过 Cloudera Manger,运 维人员得以提高集群的性能,提升服务质量...

    CLOUDERA-Manager-中文手册

    作为业界第一的端到端 Apache Hadoop 的管理应用,Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过 Cloudera Manger,运维人员得以提高集群的性能,提升服务质量...

    cdh运维问题相关整理.docx

    作为业界第一的端到端 Apache Hadoop 的管理应用,Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过 Cloudera Manger,运 维人员得以提高集群的性能,提升服务质量...

Global site tag (gtag.js) - Google Analytics