`
书音棋
  • 浏览: 142275 次
  • 性别: Icon_minigender_1
  • 来自: 哈尔滨
社区版块
存档分类
最新评论

hive导出查询结果到本地文件

    博客分类:
  • java
阅读更多

最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下:

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
  查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符,
  使用文本编辑器打开也显示乱码。
  最后在官方文档上找了半天才发现,hive使用 ^A 符号作为域的分隔符,原文如下:
 Data written to the filesystem is serialized as text with columns separated by ^A

在python中可以使用line.split('\x01')来进行切分

如果确实需要将查询结果导出到本地文件,最好使用hive的命令:

 

  1. bin/hive -e "select * from test" >> res.csv  
  2.   
  3. 或者是:  
  4.   
  5. bin/hive -f sql.q >> res.csv  
  6.   
  7. 其中文件sql.q写入你想要执行的查询语句 
分享到:
评论

相关推荐

    Hive sql系统学习教程

    数据导出语句:可以将Hive表中的数据导出到本地文件系统或HDFS中。 总体而言,Hive SQL是面向数据仓库的一种数据操作语言,它使用类似于SQL的语法,同时又能够利用Hadoop的分布式计算能力对海量数据进行处理。

    hive-笔记--hive常用用法

    内部表和外部表,导入数据,导出数据,将数据从hive的表中导出到本地磁盘目录中,HIVE的存储文件格式,修改表的分区,多重插入,HIVE的自定义函数功能,使用explode —— 行转列,配合lateral view 列转行方便统计,...

    tw-hive:学习Hive API

    2.从hive导出数据到本地时注意指定的目录/home/bigdata/syg。如果指定的目录存在,hive会先删除该目录下的所有文件。如果目录不存在,则会创建。 insert overwrite local directory '/home/bigdata/syg' select * ...

    mongo-hive:将您的 MongoDB 集合加载到 Hive 中。 支持复杂的JSON结构

    连接到您的 MongoDB 并将指定的集合提取到本地文件中,然后将其复制到 HDFS。 MapReduce 生成模式(将副本保存回 MongoDB 以获取信息)。 MapReduce 转换数据,将数组分解为 HDFS 输出文件夹中的多个文件。 使用...

    spark大作业.zip

    2、把文本文件的数据集导入到数据仓库Hive中 3、对数据仓库Hive中的数据进行查询分析 4、使用Sqoop将数据从Hive导入MySQL 5、使用Sqoop将数据从MySQL导入HBase 6、使用HBase Java API把数据从本地导入到HBase中 7、...

    Java版水果管理系统源码-hive-tools:蜂巢工具

    命令,可以把指定库表的数据和元数据导出到本地或者 HDFS 目录中,再通过 IMPORT 命令将元数据和数据文件导入新的 hive 仓库中,但是存在以下问题不符合我们的场景 我们不需要重现导入数据; 我们的每个 hive 中的表...

    Hadoop权威指南(中文版)2015上传.rar

    查询文件系统 删除数据 数据流 文件读取剖析 文件写入剖析 一致模型 通过 distcp并行拷贝 保持 HDFS 集群的均衡 Hadoop的归档文件 使用Hadoop归档文件 不足 第4章 Hadoop I/O 数据完整性 HDFS的数据完整性 ...

    Hadoop权威指南 第二版(中文版)

     查询文件系统  删除数据  数据流  文件读取剖析  文件写入剖析  一致模型  通过 distcp并行拷贝  保持 HDFS 集群的均衡  Hadoop的归档文件  使用Hadoop归档文件  不足 第4章 Hadoop I/O  数据完整性  ...

    EasyBDI

    简易BDI Easy BDI是一种工具,可使用Presto与数据源进行通信,以对分布式数据源和可能的... 查询可以保存并再次使用,并且可以导出查询结果。 系统要求和安装方法 Easy BDI需要JRE8。它可以安装在任何操作系统中。 但

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    技术点2 自动复制文件到HDFS 的机制 技术点3 使用Oozie 定期执行数据导入活动 2.2.3 从数据库中拉数据 技术点4 使用MapReduce 将数据导入数据库 技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术...

    Hadoop实战(第2版)

    技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统技术点8 自动复制HDFS 中的文件...

    开源bbs源码java-Hadoop-LogAnalysis:基于论坛的apachecommon日志分析项目

    开源 bbs 源码 java 基于论坛的apache common日志分析项目 :maple_leaf: 项目描述 通过对技术论坛的...flume配置文件(从本地监控目录上传日志文件到hdfs中) mapreduce 源码 数据清洗结果 hadoop fs -cat /user/elo

    Hadoop实战中文版

    9.4.1 将代码转移到Hadoop集群上 9.4.2 访问Hadoop集群上的数据 9.5 清空和关闭EC2 实例 9.6 Amazon Elastic MapReduce 和其他AWS 服务 9.6.1 Amazon Elastic MapReduce 9.6.2 AWS导入/导出 9.7 小结 第10章 ...

    Hadoop实战(陆嘉恒)译

    在云上运行Hadoop9.1 Amazon Web Services 简介9.2 安装AWS9.2.1 获得AWS身份...到Hadoop集群上9.4.2 访问Hadoop集群上的数据9.5 清空和关闭EC2 实例9.6 Amazon Elastic MapReduce 和其他AWS 服务9.6.1 Amazon Elastic ...

    Hadoop实战

    1719.4.1 将代码转移到Hadoop集群上 1719.4.2 访问Hadoop集群上的数据 1729.5 清空和关闭EC2实例 1759.6 Amazon Elastic MapReduce和其他AWS服务 1769.6.1 Amazon Elastic MapReduce 1769.6.2 AWS导入/导出 ...

    Hadoop实战中文版.PDF

    206第11章 Hive及Hadoop群 20711.1 Hive 20711.1.1 安装与配置Hive 20811.1.2 查询的示例 21011.1.3 深入HiveQL 21311.1.4 Hive小结 22111.2 其他Hadoop相关的部分 22111.2.1 HBase 22111.2.2 ...

Global site tag (gtag.js) - Google Analytics