本地文件加载到hive表
1.在hxl数据库下创建表
hive> create table tb_emp_info
> (id int,
> name string,
> age int,
> tel string)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '|'
> STORED AS TEXTFILE;
OK
Time taken: 0.296 seconds
hive> show tables in hxl;
OK
tb_emp_info
Time taken: 0.073 seconds
2.准备加载数据
[hadoop1@node1 hive]$ more tb_emp_info.txt
1|name1|25|13188888888888
2|name2|30|13888888888888
3|name3|3|147896221
4|name4|56|899314121
5|name5|12|899314121
6|name6|9|899314121
7|name7|32|899314121
8|name8|42|158964
9|name9|86|899314121
10|name10|45|789541
3.本地系统加载文件数据
进入到tb_emp_info.txt文件所在的目录,然后执行hive进入到hive模式
[hadoop1@node1 hive]$ hive
hive> use hxl;
OK
Time taken: 0.103 seconds
hive> load data local inpath 'tb_emp_info.txt' into table tb_emp_info;
Copying data from file:/home/hadoop1/file/hive/tb_emp_info.txt
Copying file: file:/home/hadoop1/file/hive/tb_emp_info.txt
Loading data to table hxl.tb_emp_info
OK
Time taken: 0.694 seconds
若是分区表的话,需要指点导入的分区,如:
hive> load data local inpath 'login.txt' into table tb_sso_ver_login_day partition(statedate=20141201);
4.查看加载进去的数据
hive> select * from tb_emp_info;
OK
1 name1 25 13188888888888
2 name2 30 13888888888888
3 name3 3 147896221
4 name4 56 899314121
5 name5 12 899314121
6 name6 9 899314121
7 name7 32 899314121
8 name8 42 158964
9 name9 86 899314121
10 name10 45 789541
5.可以进入到hdfs目录下查看该表对应的文件
hive> dfs -ls /user/hive/warehouse/hxl.db/tb_emp_info;
Found 1 items
-rw-r--r-- 3 hadoop1 supergroup 214 2014-10-28 17:31 /user/hive/warehouse/hxl.db/tb_emp_info/tb_emp_info.txt
HDFS文件导入到Hive表
1.查看hdfs系统上的文件
$hadoop fs -cat /user/hadoop1/myfile/tb_class.txt
输出部分
0|班级0|2014-10-29 14:10:17|2014-10-29 14:10:17
1|班级1|2014-10-29 14:10:17|2014-10-29 14:10:17
2|班级2|2014-10-29 14:10:17|2014-10-29 14:10:17
3|班级3|2014-10-29 14:10:17|2014-10-29 14:10:17
4|班级4|2014-10-29 14:10:17|2014-10-29 14:10:17
5|班级5|2014-10-29 14:10:17|2014-10-29 14:10:17
6|班级6|2014-10-29 14:10:17|2014-10-29 14:10:17
7|班级7|2014-10-29 14:10:17|2014-10-29 14:10:17
8|班级8|2014-10-29 14:10:17|2014-10-29 14:10:17
2.创建表
create table tb_class_info
(id int,
class_name string,
createtime timestamp ,
modifytime timestamp)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS TEXTFILE;
3.导入表
load data inpath '/user/hadoop1/myfile/tb_class.txt' into table tb_class_info;
相关推荐
Mongo - Hive 连接器 将 MongoDB 集合加载到 Hive 的超级简单方法。 该代码通过对每个 MongoDB 记录... 使用步骤 3 中生成的 HDFS 文件加载 Hive 表。 先决条件 您有一个 Hadoop 集群。 您可以通过 SSH 连接到主节点
数据加载语句:可以将数据从本地文件系统或HDFS中导入到Hive表中。 数据查询语句:可以通过类似于SQL的语法查询Hive表中的数据,并支持聚合操作、过滤条件等操作。 数据转换语句:可以通过Hive SQL进行数据转换,...
而数据库则可以将数据保存在块设备或者本地文件系统中。 3. 数据格式。 Hive 中没有定义专门的数据格式,数据格式可以由用户指定,用户定义数 据格式需要指定三个属性:列分隔符(通常为空格、” t ”、” x001″...
load:加载数据到表 load data [local] inpath ‘filepath’ overwrite | into table 表名 [partition (partcol1=val1,…)]; 单纯的复制/移动:将 filepath 中指定的文件复制到目标文件所指定的目录中。如果目标表...
设置阶段设置本地文件系统,HDFS和Hive表以准备加载作业。 理想情况下,加载阶段是通过作业调度程序每小时触发的,它通过数据管道获取信息并写入Hive和MySQL表。 触发清理阶段以删除数据集的记录,清理本地文件...
而数据库则可以将数据保存在块设备或者本地文件系统中。 3. 数据格式。Hive 中没有定义专门的数据格式,数据格式可以由用户指定,用户定义数据格式需要指定三个属性:列分隔符(通常为空格、”\t”、”\x001″)、行...
1.6.1 托管表(Managed Tables)和外部表(External Tables) 1.6.2 分区(Partitions)和桶(Buckets) 1.6.3 存储格式 1.6.4 导入数据 1.6.5 表的修改 1.6.6 表的丢弃 1.7 查询数据 1.7.1 排序(Sorting)和聚集...
1.6.1 托管表(Managed Tables)和外部表(External Tables) 1.6.2 分区(Partitions)和桶(Buckets) 1.6.3 存储格式 1.6.4 导入数据 1.6.5 表的修改 1.6.6 表的丢弃 1.7 查询数据 1.7.1 排序(Sorting)和...
快速开发数据仓库试点项目(将源结构转换为仓库表,将数据从源多线程重新加载到仓库表) 开发,测试和生产的组织代表ETL项目; 测试等过程的自动化; 自动化数据仓库中的数据运行状况监视; 在存储库中集中存储...
RAM内存不足时TPCH 创建dbgen脚本产生资料将数据加载到PostgreSQL PostgreSQL更改数据默认目录使用表空间-处理可伸缩性问题播放CSV文件规模很重要磁盘使用命令df , du 命令mount 以正确的方式将数据加载到Hadoop ...
2.3.1 将数据导入本地文件系统 技术点8 自动复制HDFS 中的文件 2.3.2 数据库 技术点9 使用Sqoop 将数据导入MySQL 2.3.3 Hbase 技术点10 将数据从HDFS 导入HBase 技术点11 使用HBase 作为MapReduce 的...
技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统技术点8 自动复制HDFS 中的文件...
Gradle的get组件,加载和运行任务将自动添加默认运行时(来自moqui-runtime存储库)。 有关Moqui Framework当前和不久的将来状态的信息,请参见文件。 有关功能的概述,请参见: 可以通过以下教程快速开始Moqui...
HDFS/本地文件系统/FTP 操作 安装说明 需要 Python 2.7 或更高版本如果你有 Python 2.6 或更低版本,你可以下载 Python 2.7 并使用“python2.7”而不是“python”运行所有命令你也可以在 virtualenv 中安装 Merlin ...