`
thomas0988
  • 浏览: 472895 次
  • 性别: Icon_minigender_1
  • 来自: 南阳
社区版块
存档分类
最新评论

云框架Hadoop之部署Hive

 
阅读更多
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://jeffxie.blog.51cto.com/1365360/305472
<!--正文 begin-->
    数据库是面向事务的设计,数据仓库是面向主题设计的。
数据库是为捕获数据而设计,数据仓库是为分析数据而设计的。
这四句话完全概括了什么是数据库,什么是数据仓库的内涵与精髓。
     前面讲了hadoop的部署,以及hadoop的文件数据系统的应用与部署,这次我们讲的是结构化数据仓库Hive
首先下载hive,我用的是0.3.x,当然你也可以选择其他版本
wget http://archive.cloudera.com/cdh/testing/hive-0.3.99.1+0.tar.gz
然后下载
wget http://archive.apache.org/dist/ant/binaries/apache-ant-1.7.1-bin.tar.gz
解压到hadoop里面
[root@hadoop5 soft]# tar zvxf apache-ant-1.7.1-bin.tar.gz
[root@hadoop5 soft]# mv apache-ant-1.7.1 /home/hadoop/hadoop-0.20.2/
[root@hadoop5 soft]# tar zvxf hive-0.3.99.1+0.tar.gz
[root@hadoop5 soft]# mv hive-0.3.99.1+0 /home/hadoop/hadoop-0.20.2/contrib/hive
设置环境变量
[root@hadoop5 soft]# vi /etc/profile
把如下内容加到最下面
export JAVA_HOME=/usr/local/jdk1.6.0_18
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_HOME/bin
export ANT_HOME=$HADOOP_HOME/apache-ant-1.7.1
export PATH=$PATH:/usr/local/hadoop/bin:$JAVA_HOME/bin:$HADOOP_HOME/contrib/hive/bin:$ANT_HOME/bin
export ANT_LIB=$HADOOP_HOME/apache-ant-1.7.1/lib

[root@hadoop5 soft]# . /etc/profile

刚开始初始化仓库的时候,需要修改hive配置文件
[root@hadoop5 hadoop]# vi /home/hadoop/hadoop-0.20.2/contrib/hive/conf/hive-default.xml
只要改一个地方,使其内容为:/home/hadoop/hadoop-0.20.2/contrib/hive/lib/hive_hwi.war
位置大概是在300行左右的样子

接着启动hive的web功能
命令是: hive --service hwi &
如果看到类似如下信息字样,就证明hive启动成功了

另外hive默认监听端口为9999,当然你可以自己到hive-default.xml配置文件中定制。浏览器的访问url为 http:/hadoop:9999/hwi.
注:hive的数据表的存放位置为hdfs,默认是 /user/hive .这个路径只有通过hadoop shell才能看见(不是/usr)
下面我们去shell下看看hive

另外/home/hadoop/hadoop-0.20.2/docs/cn目录下有中文文档,大家可以参见练习hive命令,或等我下次的教程。
好了,教程就到这里,下次解占辉带给大家的依然是hive相关知识,敬请期待!

本文出自 “云计算架构师-解占辉” 博客,请务必保留此出处http://jeffxie.blog.51cto.com/1365360/305472

分享到:
评论

相关推荐

    hadoop详细视频教程

    38_hadoop_hadoop2.5.2的安装部署01 39_hadoop_hadoop2.5.2的安装部署02 40_hadoop_hadoop2.5.2的安装部署03 41_hadoop_hadoop2.5.2的安装部署04 42_hadoop_hadoop2.5.2的安装部署05 43_hadoop_hadoop2.5.2的安装...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...

    hive-3.1.1安装包

    Hive是一个基于Hadoop的数据仓库工具,它本身并不存储数据,部署在Hadoop集群上,数据是存储在HDFS上的. Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对...

    基于Hadoop的集群部署与管理系统的设计与实现毕业论文(62页27073字数).doc

    本文以在中移软件研发中心工作期间参与的大数据项目为背景,着重研究Hadoop相关系统的设计思想和基本框架,并设计和实现一个自动化、可扩展、可监控、可管理的应用于大规模Hadoop集群的部署管理系统,本文主要研究...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、...

    sqoop-1.4.6.bin-hadoop-2.0.4-alpha版本的压缩包,直接下载到本地,解压后即可使用

    Apache框架Hadoop是一个越来越通用的分布式计算环境,主要用来处理大数据。随着云提供商利用这个框架,更多的用户将数据集在Hadoop和传统数据库之间转移,能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样...

    【63课时完整版】大数据实践HIVE详解及实战

    第1章:Hive基本架构及环境部署 1.MapReduce分析与SQL分析对比 2.Hive的介绍及其发展 3.Hive的安装部署及启动 4.Hive的基本架构讲解 5.安装MySQL作为元数据库存储 6.配置Hive使用MySQL作为元数据库存储 7.Hive中基本...

    面向基于模型的Hadoop部署和配置方法

    本文提出了一种基于模型的Hadoop部署和配置方法,可帮助管理员以简单但功能强大的方式构建Hadoop集群。 首先,根据当前Hadoop部署和配置的领域知识,提供Hadoop软件体系结构的统一模型。 其次,我们为领域专家提供...

    Hadoop开发者第一期入门专刊

    28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 MapReduce 中的Shuffle 和Sort 分析 53 海量数据存储和计算平台的调试器研究 56 探讨...

    非常好的大数据入门目资源,分享出来.zip

    Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark ...

    手把手教你搭建分布式Hadoop集群视频教程(视频+讲义+笔记+软件+配置)

    手把手教你搭建分布式Hadoop家族集群视频教程(视频+讲义+笔记+配置),内容包括 Hadoop,SQOOP,Hive,Hbase的安装配置及集群搭建。内容包括但不限于: 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...

    基于Hadoop的视频收视率分析

    在搭建技术架构的必要基础之上采用了分布式的项目部署方式,保证在生产环境下的实际生 产项目的容灾性和可扩展性,提高了系统的应用性和效率。最终完成了基于大数据技术的视频收视率分析设计与实现。具体的内 容有:...

    Hadoop集群安装维护文档

    本文档是Hadoop集群的运维文档,提供了Hadoop集群安装方法和部署,以及对集群的监控。Hadoop是开源的、分布式的数据存储和计算基础框架,其核心包含HDFS和MapReduce等。HBase是基于Hadoop的HDFS之上的分布式列存储...

    大数据开源框架集锦.pdf

    ⼤数据开源框架集锦 1 ⼤数据平台 Hadoop 离线数据的分布式存储和计算基础框架 分布式存储HDFS 离线计算引擎MapReduce 资源调度Apache YARN CDH 基于稳定版Hadoop及相关项⽬最成型的发⾏版本, 成为企业部署最⼴泛的...

    安全大数据分析框架OpenSOC.zip

    可在企业内部部署或者云端部署具有集中化的管理流程、人员和数据当前,OpenSOC 运行条件包括:两个网卡(建议使用Napatech的NT20E2-CAP网卡)Apache Flume 1.4.0 版本及以上Apache Kafka 0.8.1 版本及以上Apache ...

    barclamp-hive:[无法维护] Hadoop Hive

    目前将作为安装框架进行维护,但准备将其作为功能更广泛的工具。 它最初是由。 Barclamp是实现Crowbar功能的模块组件。 核心气压钳操作撬棒部署机制的基本功能,而其他气压钳则将系统扩展为特定应用。 此barclamp的...

    autoinstallhadoop:自动安装JDK,Maven,Ant,Maven,Hadoop脚本

    autoinstallhadoop 自动安装JDK,Maven,Ant,Maven,Hadoop脚本 脚本开发者:三劫散仙 ...本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置 分别在压缩包内的

    2018最新高清大数据协作框架全套视频教程(Sqoop,Flume,Oozie,WEB工具Hue)

    1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4 1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4 1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4 1.02_02_01_07 ...

Global site tag (gtag.js) - Google Analytics