Hive(Facebook)构建在Hadoop之上的数据仓库;数据计算使用MR,数据存储使用HDFS
Hive 定义了一种类 SQL 查询语言——HQL;类似SQL, 但不完全相同
可认为是一个HQL-->MR的语言翻译器。
Hive装在一个节点就可以了,
Hive On HBase
使用HQL处理HBase中的数据
比直接通过HBase API存取数据方便;
但性能更低,相当于把在线处理转为批处理
存在问题
不够成熟;
不能按时间戳获取数据,默认总是取最新的数据
下一代Hive被称为“Stinger”,其底层的计算引擎将由Tez替换MapReduce;
Tez相比于MapReduce具有众多优势:
提供了多种算子(比如Map、 Shuffle等)供用户使用;
将多个作业合并成一个作业,减少磁盘读写IO;
充分利用内存资源。
Spark
Spark是一个内存计算框架,相比于MapReduce,效率更加高效(部分测试表明,速度快100x)
Impala
底层计算引擎不再采用MR,而是使用与商用并行关系数据库类似的分布式查询引擎;
Impala可直接处理存储在HDFS上的数据,并将结果集再次写入HDFS;
Pig(Yahoo)
使用 Pig Latin语言表达数据流
Pig Latin是一种新的数据流语言
Pig将Pig Latin语句转化为MapReduce作业
Pig Latin比MapReduce程序更易编写
Pig与Hive异同:
相同点
运行在Hadoop之上;
设计动机是为用户提供一种更简单的Hadoop上数据分析方式;
解决相同问题的两个工具(yahoo! vs facebook)。
不同点
Hive要求待处理数据必须有Schema,而Pig则无此要求;
Hive有Server需要安装, Pig无Server不需要安装;
编程语言不同, SQL与Pig Latin
SQL:得到什么样的结果, Pig Latin:如何处理数据
SQL:过程化语言, Pig Latin:数据流语言
- 大小: 137.6 KB
- 大小: 137.1 KB
分享到:
相关推荐
通过PigLatin,数据工程师可以将复杂且相互关联的数据分析任务编码为Pig操作上的数据流脚本,通过将该脚本转换为MapReduce任务链,在Hadoop上执行。和Hive一样,Pig降低了对大型数据集进行分析和评估的门槛。
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
8 数据分析时代背景 第一部分 数据分析平台技术 第二部分 数据仓库建模方法 第三部分 HDFS+MapReduce+Hive Storm+Spark 数据分析与数据挖掘 第四部分 目 录 数据分析方法与技术全文共66页,当前为第8页。...
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
大数据分析平台全文共4页,当前为第1页。大数据分析平台全文共4页,当前为第1页。一、数据分析平台层次解析 大数据分析平台全文共4页,当前为第1页。 大数据分析平台全文共4页,当前为第1页。 大数据分析处理架构图 ...
mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
数据分析引擎:hive 大数据的终极目标:使用SQL语句来处理大数据 1,hadoop的体系架构中: 两个数据分析引擎:(*)Hive:支持sql (*)Pig:支持PigLatin 一,什么是hive? 1,hive是一个基于hdfs之上的数据仓库 ...
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
能独立熟练完成Hadoop的...能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作
本文熟悉了pache hive、Apache pig等大数据工具。 此处根据一些参数对 hive 和 pig 进行了比较。 经过比较,发现蜂巢比猪表现更好。 Hadoop MapReduce 和 Spark 的主要区别在于处理方式。 Spark 能够在内存中执行此...
HBase: 类似Google BigTable的分布式列式数据库,与Pig/Hive很好地集成 Pig:一种轻量级的脚本语言,在处理半结构化数据上拥有非常高的性能,为用户提供多种接口 Hive:数据仓库工具,在使用类SQL查询分析时显示是极...