数据库是面向事务的设计,数据仓库是面向主题设计的。
数据库是为捕获数据而设计,数据仓库是为分析数据而设计的。
这四句话完全概括了什么是数据库,什么是数据仓库的内涵与精髓。
前面讲了hadoop的部署,以及hadoop的文件数据系统的应用与部署,这次我们讲的是结构化数据仓库Hive
首先下载hive,我用的是0.3.x,当然你也可以选择其他版本
wget http://archive.cloudera.com/cdh/testing/hive-0.3.99.1+0.tar.gz
然后下载
wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.7.1-bin.tar.gz
解压到hadoop里面
[root@hadoop5 soft]# tar zvxf apache-ant-1.7.1-bin.tar.gz
[root@hadoop5 soft]# mv apache-ant-1.7.1 /home/hadoop/hadoop-0.20.2/
[root@hadoop5 soft]# tar zvxf hive-0.3.99.1+0.tar.gz
[root@hadoop5 soft]# mv hive-0.3.99.1+0 /home/hadoop/hadoop-0.20.2/contrib/hive
设置环境变量
[root@hadoop5 soft]# vi /etc/profile
把如下内容加到最下面
export JAVA_HOME=/usr/local/jdk1.6.0_18
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_HOME/bin
export ANT_HOME=$HADOOP_HOME/apache-ant-1.7.1
export PATH=$PATH:/usr/local/hadoop/bin:$JAVA_HOME/bin:$HADOOP_HOME/contrib/hive/bin:$ANT_HOME/bin
export ANT_LIB=$HADOOP_HOME/apache-ant-1.7.1/lib
[root@hadoop5 soft]# . /etc/profile
刚开始初始化仓库的时候,需要修改hive配置文件
[root@hadoop5 hadoop]# vi /home/hadoop/hadoop-0.20.2/contrib/hive/conf/hive-default.xml
只要改一个地方,使其内容为:/home/hadoop/hadoop-0.20.2/contrib/hive/lib/hive_hwi.war
位置大概是在300行左右的样子
接着启动hive的web功能
命令是: hive --service hwi &
如果看到类似如下信息字样,就证明hive启动成功了
另外hive默认监听端口为9999,当然你可以自己到hive-default.xml配置文件中定制。浏览器的访问url为 http:/hadoop:9999/hwi.
注:hive的数据表的存放位置为hdfs,默认是 /user/hive .这个路径只有通过hadoop shell才能看见(不是/usr)
下面我们去shell下看看hive
另外/home/hadoop/hadoop-0.20.2/docs/cn目录下有中文文档,大家可以参见练习hive命令,或等我下次的教程。
好了,教程就到这里,下次解占辉带给大家的依然是hive相关知识,敬请期待!
本文出自 “云计算架构师-解占辉” 博客,请务必保留此出处http://jeffxie.blog.51cto.com/1365360/305472
相关推荐
38_hadoop_hadoop2.5.2的安装部署01 39_hadoop_hadoop2.5.2的安装部署02 40_hadoop_hadoop2.5.2的安装部署03 41_hadoop_hadoop2.5.2的安装部署04 42_hadoop_hadoop2.5.2的安装部署05 43_hadoop_hadoop2.5.2的安装...
Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...
Hive是一个基于Hadoop的数据仓库工具,它本身并不存储数据,部署在Hadoop集群上,数据是存储在HDFS上的. Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对...
本文以在中移软件研发中心工作期间参与的大数据项目为背景,着重研究Hadoop相关系统的设计思想和基本框架,并设计和实现一个自动化、可扩展、可监控、可管理的应用于大规模Hadoop集群的部署管理系统,本文主要研究...
第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs...
Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、...
Apache框架Hadoop是一个越来越通用的分布式计算环境,主要用来处理大数据。随着云提供商利用这个框架,更多的用户将数据集在Hadoop和传统数据库之间转移,能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样...
第1章:Hive基本架构及环境部署 1.MapReduce分析与SQL分析对比 2.Hive的介绍及其发展 3.Hive的安装部署及启动 4.Hive的基本架构讲解 5.安装MySQL作为元数据库存储 6.配置Hive使用MySQL作为元数据库存储 7.Hive中基本...
本文提出了一种基于模型的Hadoop部署和配置方法,可帮助管理员以简单但功能强大的方式构建Hadoop集群。 首先,根据当前Hadoop部署和配置的领域知识,提供Hadoop软件体系结构的统一模型。 其次,我们为领域专家提供...
28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 MapReduce 中的Shuffle 和Sort 分析 53 海量数据存储和计算平台的调试器研究 56 探讨...
Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark ...
手把手教你搭建分布式Hadoop家族集群视频教程(视频+讲义+笔记+配置),内容包括 Hadoop,SQOOP,Hive,Hbase的安装配置及集群搭建。内容包括但不限于: 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...
在搭建技术架构的必要基础之上采用了分布式的项目部署方式,保证在生产环境下的实际生 产项目的容灾性和可扩展性,提高了系统的应用性和效率。最终完成了基于大数据技术的视频收视率分析设计与实现。具体的内 容有:...
本文档是Hadoop集群的运维文档,提供了Hadoop集群安装方法和部署,以及对集群的监控。Hadoop是开源的、分布式的数据存储和计算基础框架,其核心包含HDFS和MapReduce等。HBase是基于Hadoop的HDFS之上的分布式列存储...
⼤数据开源框架集锦 1 ⼤数据平台 Hadoop 离线数据的分布式存储和计算基础框架 分布式存储HDFS 离线计算引擎MapReduce 资源调度Apache YARN CDH 基于稳定版Hadoop及相关项⽬最成型的发⾏版本, 成为企业部署最⼴泛的...
可在企业内部部署或者云端部署具有集中化的管理流程、人员和数据当前,OpenSOC 运行条件包括:两个网卡(建议使用Napatech的NT20E2-CAP网卡)Apache Flume 1.4.0 版本及以上Apache Kafka 0.8.1 版本及以上Apache ...
目前将作为安装框架进行维护,但准备将其作为功能更广泛的工具。 它最初是由。 Barclamp是实现Crowbar功能的模块组件。 核心气压钳操作撬棒部署机制的基本功能,而其他气压钳则将系统扩展为特定应用。 此barclamp的...
autoinstallhadoop 自动安装JDK,Maven,Ant,Maven,Hadoop脚本 脚本开发者:三劫散仙 ...本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置 分别在压缩包内的
1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4 1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4 1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4 1.02_02_01_07 ...