`
rq2_79
  • 浏览: 235001 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

文本文件导入到Hbase中

 
阅读更多

创建表

sudo su -
su - hadoop
./hbase shell
create 'table1',{NAME => 'DF', VERSIONS => 5}

 

配置环境

1.修改hadoop环境

vi /opt/hadoop-1.0.0/conf/hadoop-env.sh
增加如下信息

export HBASE_HOME=/opt/hbase-0.92.0
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.92.0.jar:$HBASE_HOME/hbase-0.92.0-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.4.2.jar:${HBASE_HOME}/lib/guava-r09.jar

2.拷贝配置文件和jar包

cp /opt/hbase-0.92.0/hbase-0.92.0.jar /opt/hadoop-1.0.0/lib/
cp /opt/hbase-0.92.0/hbase-0.92.0-tests.jar /opt/hadoop-1.0.0/lib/
cp /opt/hbase-0.92.0/conf/hbase-site.xml /opt/hadoop-1.0.0/conf/

然后重启
/opt/hadoop-1.0.0/bin/stop-all.sh 
/opt/hadoop-1.0.0/bin/start-all.sh 

文件导入

3. 把文件导入到hadoop
hadoop fs -put test1.txt /test1

4.把文件导入到hbase
hadoop jar /opt/hbase-0.92.0/hbase-0.92.0.jar importtsv -Dimporttsv.columns=DF:rowNo,HBASE_ROW_KEY table1 /test1

分享到:
评论

相关推荐

    将hdfs上的文件导入hbase的源代码

    介绍了大数据平台如何将hdfs中的分布式文件导入hbase 。源代码在cloudera-SCM 的cdh 4.8.1产品环境中验证通过。

    hbase导出csv,文本,html文件

    通过条件查询hbase数据导出csv,文本,html等文件,实现方式:将hbase关联hive,然后将hive数据导入真实表,在将真实表数据导入sql数据库

    大数据综合大作业和数据集

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到数据仓库Hive 中 3.对数据仓库Hive 中的数据进行查询分析...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析

    使用spark对网站用户行为分析

    1.对文本文件形式的原始数据集进行预处理 2.把文本文件的数据集导入到...6.使用HBase Java API把数据从本地导入到HBase中 7.使用R对MySQL中的数据进行可视化分析 内含三份报告和数据集,报告中有源码,是用spark做的

    spark大作业.zip

    使用Spark框架进行网站用户购物分析 目的 1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea...6、使用HBase Java API把数据从本地导入到HBase中 7、使用R对MySQL中的数据进行可视化分析

    hbase-kmeans:使用 HBase 和 Map Reduce 的迭代 k 均值

    从程序参数 (args[0]) 中获取包含数据的本地文本文件的路径。 存储簇数。 这也是从程序参数 (args[1]) 中获得的。 使用 Map Reduce Job 将数据导入到“数据”表中。 此外,在名为“center”的表中加载前 k 行...

    基于Hadoop豆瓣电影数据分析实验报告

    注意:豆瓣网站的数据形式为文本文件(必须将导入到hive中做处理)。也可以为CSV文件,例如下图: 针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume...

    Hadoop豆瓣电影分析可视化源码

    针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume,...注意:豆瓣网站的数据形式为文本文件(必须将导入到hive中做处理)。也可以为CSV文件,例如下图:

    sqoop工具_202006041735481.docx

    用户可以在 Sqoop 的帮助下,轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase 和Hive)中;同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。除了这些主要的功能 外,Sqoop 也提供了...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    3 数据序列化――处理文本文件及其他格式的文件 3.1 了解MapReduce 中的输入和输出 3.1.1 数据输入 3.1.2 数据输出 3.2 处理常见的序列化格式 3.2.1 XML . 技术点12 MapReduce 和XML 3.2.2 JSON...

    Hadoop实战(第2版)

    2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据...导入HBase技术点11 使用HBase 作为MapReduce 的数据接收器2.4 本章小结3 数据序列化――处理文本文件及其他格式的文件3.1 了解...

    大数据-sqoop.pptx

    从 Hive 或 HBase 将数据提取至 HDFS (作为文本或 Avro 文件) 使用 Sqoop 将上一步的输出导出至 RDBMS 不支持按照与 Sqoop 1 相同的解决方法操作 大数据-sqoop全文共16页,当前为第5页。 Sqoop的用途 Sqoop可以在...

    Hadoop权威指南(中文版)2015上传.rar

    第3章 Hadoop分布式文件系统 HDFS的设计 HDFS的概念 数据块 namenode和datanode 命令行接口 基本文件系统操作 Hadoop文件系统 接口 Java接口 从Hadoop URL中读取数据 通过FileSystem API读取数据 写入数据 目录 查询...

    Hadoop权威指南 第二版(中文版)

    Hadoop分布式文件系统;Hadoop的I/O、MapReduce应用程序开发;MapReduce的工作机制;MapReduce的类型和格式;MapReduce的特性;如何构建Hadoop集群,如何管理Hadoop;Pig简介;Hbase简介;Hive简介;ZooKeeper简介;...

Global site tag (gtag.js) - Google Analytics