一、HADOOP
./hadoop fs -mkdir book 新建一个目录;
./hadoop fs -ls 查看文件目录;
./hadoop fs -copyFromLocal 系统目录(eg:D:\\test.txt) 目标文件名称(默认存放在当前用户下/user/用户/目标文件名称);
./hadoop fs -ls file:/// 当期根目录下的文件列表;
./hadoop fs -ls hdfs://localhost:8888/user 查看分布式文件列表,端口由core-site.xml文件中fs.default.name的值决定;
二、HIVE
新建外部表:
hive> create EXTERNAL table hive_test(num int,name string)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' //指定每行字段值之间风格符
> STORED AS TEXTFIL //以文本形式存储
> LOCATION '/user/terran/text'; //指定HDFS路径
启动hiveserver服务:
进入bin目录,$./hive --service hiveserver ,类似的服务还有cli(命令行接口,默认),hwi(hive的web接口),jar(与hadoopjar等价的Hive接口),metastore(使metastore作为一个单独(远程)进程运行),hiveserver是让hive以提供thrift服务的服务器形式运行,允许用不同语言编写的客户端进行访问。
分享到:
相关推荐
本文通过对 Hadoop 的深入分析和研究,根据交易记录查询系统的需求,设计并实现了 基于 Hadoop 的海量交易记录查询系统。首先对 Hadoop 及其相关技术做了研究,着重介绍了 Hadoop 云计算框架中的 HDFS 分布式文件...
记录hadoop作业,
NULL 博文链接:https://sealbird.iteye.com/blog/1340283
Hadoop 分析统计学生考试成绩1
小白搭建hadoop完全分布式环境笔记,步骤详细,原创
5.5 小结 5.6 更多资源 第6章 编程实践 6.1 开发MapReduce 程序 6.1.1 本地模式 6.1.2 伪分布模式 6.2 生产集群上的监视和调试 6.2.1 计数器 6.2.2 跳过坏记录 6.2.3 用IsolationRunner重新运行出错的任务...
1.4 添加hosts记录 此步骤所有节点都要操作 vi /etc/hosts 192.168.80.90 Master.Hadoop 192.168.80.91 Slave1.Hadoop 192.168.80.92 Slave2.Hadoop 1.5 建立hadoop用户之间相互信任(互相无密码登陆)...
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章,3个附录,涉及的主题包括:Haddoop简介;MapReduce简介;Hadoop分布式文件系统;Hadoop...
Hadoop学习时间轴 MapReduce 记录处理等
Hadoop 分布式集群搭建 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,...
包含hadoop平台Java开发的所有所需jar包,例如activation-1.1.jar apacheds-i18n-2.0.0-M15.jar apacheds-kerberos-codec-2.0.0-M15.jar api-asn1-api-1.0.0-M20.jar api-util-1.0.0-M20.jar asm-3.2.jar avro-1.7.7...
dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了 元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于Safe...
例,任务跑完就自动释放掉服务器,本文记录下 Hadoop 集群的搭建过程,方便自己日后查看,也希望能帮到初学者,本文所有软 件都是通过 yum 安装,大家也可以下载相应的二进制文件进行安装,使用哪种方式安装,从属...
linux hadoop集群简单几步完成SSH配置。 不可思议。真的很简单。
第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统 网格计算 志愿计算 1.3.4 Hadoop 发展简史 Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用...
本教程是根据个人在UBUNTU虚拟机上安装配置Hadoop2.7.3的实际操作步骤一步步记录下来的,大部分指令操作的目的都加了注释以方便理解。(本教程很详细,如果还是遇到问题可以直接咨询楼主,不会让你的积分百花的)
该文档记录了在linux的shell环境下执行的hadoop的相关操作命令,包括多hafs文件的相关操作
网上也已经有很多教程了,但是其中都有不少坑,在此记录一下自己安装的过程。 目标:使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群 准备: 首先要有一台内存8G以上的centos7机器,我用的是阿里云主机...
记录了Ubuntu下的Hadoop的配置与运行 ,经典例子
手动搭建hadoop集群(包括hadoop的Ha好可用),零基础教程