一、HIVE简介
Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。HIVE的操作语句称为HiveQL,他提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同时,HiveQL语言能力不足时,它也能允许使用传统map/reduce进行复杂数据分析。
Hive搭建在Hadoop平台之上。它并不是一个真正的数据库,他的元数据存储在其他的数据库中,例如mysql。Hadoop平台提供了HDFS分布式文件存储系统和Map/Reduce分布式计算系统。因为map/reduce编程是比较复杂的,而Hive是凌驾在这两个之上,用户只要熟悉简单的mysql语言就行。
Hive在少量数据查询上和Oracle等软件不能相比,但是在大量的数据上是很有优势的。
二、HIVE的用法
1.hive支持的数据类型
原生数据类型:
TINYINT,SMALLINT,INT,BIGINT,DOUBLE,STRING等
这些数据类型都比较简单,下面我详细说一下复合数据类型。
复合数据类型:
hive的复杂类型包括ARRAY,MAP,STRUCT,UNION,这些复杂类型是由基础类型组成的。
下面通过一个实例来看看hive是如何使用复杂数据类型的
基本的操作语句
1)创建表
hive>create table 表名(表的属性);
2)将数据文件导入到Hive表中
hive>load data local inpath '文件的地址' into table 表名;
3)查询语句
和mysql语句无太大差别,不详细赘述,
示例:
建表-导入数据-查询
接下来会研究一下hive的数据模型。。。。。。
以及如果让hive和hadoop结合的更紧密,会从以下几个角度进行深入研究:
第一:hive的类SQL语句本身进行调优
第二:就是hive的参数调优
第三:hadoop里的hdfs的参数调优(存储格式、压缩格式、RPC调用、连接数控制)
第四:hadoop里的map/reduce的调优(datanode间的数据传输、处理大小、每个child的相关JVM设置等)
第五:就是hadoop环境里的网络传输的调优(硬件环境)
第六:就是hdfs的存储格式调优(文本格式、顺序格式等)
第七:操作系统层面的磁盘I/O调优(多路复用等)
第八:操作系统层面的网络调优(缓冲区大小、连接数放大等)
第九:操作系统层面的内存调优(虚拟内存设置、内存控制等)
第十:hadoop的容错机制的掌握,因为正常的运行到没什么,怕就是出现异常时,有相应的应对方案(调度器、队列等)
第十一:hadoop的管理(包括datanode失效、namenode失效、加入或删除datanode、负载均衡、集群等)
相关推荐
Hadoop2.9.2和hive2.3.4在windows下安装所需执行文件 安装教程参考链接 https://blog.csdn.net/a1041646584/article/details/88392714
hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+...
Hadoop伪分布下的hive安装及错误的更改
该文档目录如下: ...1.1 基于Hadoop的数据仓库Hive学习指南 1.2实验环境 1.3实验原理 1.3.1 Hive简介 1.3.2 Hive安装 1.3.3安装并配置mysql 1.3.5 Hive简单编程实践 1.3.4 Hive的常用HiveQL操作
基于Hadoop Hive健身馆可视化分析平台项目源码+数据库文件.zip启动方式 环境启动 hadoop hive2元数据库 sql导入 导入hivesql脚本,修改application.yml 启动主程序 HadoopApplication 基于Hadoop Hive健身馆可视化...
里面是下载连接及提取码,如果有问题可以在下方回复!
Hadoop hbase hive sqoop集群环境安装配置及使用文档
VM虚拟机上,安装ubantu搭建hadoop+Hive集群,步骤详细。
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
很多刚入门的同学找不到版本对应关系,这里从官网整理下来,供大家参考 hadoop、hbase、hive版本对应关系.新手指导hadoop、hbase、hive版本对应关系查找表
安装hive前提是要先安装hadoop集群,并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装),可以不在datanode节点的机器上安装。另外还需要说明的是,虽然修改配置文件并不需要你已经把...
hadoop+hive环境安装包.rar
Hadoop Impala connect hive2 jdbc related Hadoop Impala connect hive2 jdbc related
大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
hadoop安装与配置,Hadoop集群搭建Hive的安装配置,掌握数据仓库⼯具Hive的安装和配置
包含了大量的hadoop hive hbase学习资料
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
亲测能装,不能装请留言。前提是要在hadoop2.2已经安装好的情况下。