`

Hadoop客户端环境配置

阅读更多
Hadoop客户端环境配置

1. 安装客户端(通过端用户可以方便的和集群交互)
2. 修改客户端~/.bashrc
alias hadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop' #hadoop 可执行文件位置
alias hls='hadoop fs -ls'
alias hlsr='hadoop fs -lsr'
alias hcp='hadoop fs -cp '
alias hmv='hadoop fs -mv'
alias hget='hadoop fs -get'
alias hput='hadoop fs -put'
alias hrm='hadoop fs -rm'
alias hmkdir='hadoop fs -mkdir'
alias hcat='hadoop fs -cat'
alias hrmr='hadoop fs -rmr'
alias hstat='hadoop fs -stat'
alias htest='hadoop fs -test'
alias htext='hadoop fs -text'
alias htouchz='hadoop fs -touchz'
alias hdu='hadoop fs -du'
alias hdus='hadoop fs -dus'
alias hchmod='hadoop fs -chmod'
alias hchgrp='hadoop fs -chgrp'
alias hchown='hadoop fs -chown'
alias htail='hadoop fs -tail'
3. 终端输入:source ~/.bashrc
4.使用hadoop短命令
eg:
# hls /app/
0
0
分享到:
评论

相关推荐

    Hadoop环境搭建、配置及通过执行计算来验证的示例

    hadoop客户端需要和namenode进行交互,而namenode中存放的是datanode的文件属性,且都是在内存中,如果小文件过多,namenode是存放不了的; 3、多用户写入,任意修改文件。 Hadoop适合于一次计算,多次读取的场景...

    hadoop-2.6.0 Window客户端

    java调用实例:// windows环境下需要配置Hadoop的客户端 System.setProperty("hadoop.home.dir", "E:/hadoop-2.6.0/"); conf = new Configuration(); fs = FileSystem.get(new URI("hdfs://192.168.1.222:8020"),...

    win10下编译过的hadoop2.7.2 jar包

    win10下编译过的hadoop2.7.2 jar包,配置hadoop客户端环境必备

    hbase客户端连接工具winutils-2.2.0.zip

    该资源为java客户端连接hbase集群,在windows客户端配置hadoop环境所需要用到的工具类,有需自取

    pc机连接集群的HADOOP_HOME

    pc机连接hadoop集群必须的文件,把它放到本地,然后配置到环境变量中,才能在本地操作集群。

    linux环境下hadoop及其组件分别安装

    hadoop 伪分布式安装及其验证,部分组件的安装及配置

    大数据运维技术第3章 平台的基础环境配置课件.pptx

    3.1.1 实验环境下大数据Hadoop平台集群网络;对于实验环境下Hadoop集群网络需考虑地址规划、连通性。由于实验环境下数据负载较小、可靠性要求不高,链路一般采用单链路连接。IP地址规划在同一网络中,一般设定地址为...

    Hadoop实战(第2版)

    Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析服务。尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、...

    基于cloudera搭建hadoop集群

    安装环境 4 四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 5. 用户sudo功能设置 7 6. 挂载硬盘 7 7. 配置yum源 9 8. 关闭防火墙 9 9. 配置ssh免key(可以不配置) ...

    访问hdfs用到的客户端jar包

    访问hdfs所用到的jar包,全都有。hadoop-hdfs.jar 代码环境配置

    【HDFS篇03】HDFS客户端操作 --- 开发环境准备1

    存储越困难,提取越容易HDFS客户端操作---开发环境准备步骤一:编译对应HadoopJar包,配置Hadoop变量步骤二:创建Maven工程,导入pom依赖步

    Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS:1.HDFS基础

    1. HDFS客户端环境准备 1.1、请参考文章: Windows10下搭建eclipse开发hadoop的开发环境 其中的第一至四步骤。 1.2、请参考文章: maven的安装、路径配置、修改库文件路径和eclipse中的配置,解决Eclipse使用Maven...

    快速学习-HDFS客户端操作

    3.1 HDFS客户端环境准备 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2),如图3-4所示。 配置HADOOP_HOME环境变量,如图3-5所示。 配置Path环境变量,如图3...

    HDFS客户端操作

    1. HDFS客户端环境搭建 1.1 安装hadoop 1.安装对应的编译后的hadoop包到非中文路径下 1.1 这里简单阐述一下在搭建环境时为什么hadoop需要重新编译源码 答: hadoop是用java写的,但是某些操作不适合用java实现,...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    1.2.2 Hadoop 的配置 1.2.3 CLI 基本命令 1.2.4 运行MapReduce 作业 1.3 本章小结 第2 部分 数据逻辑. 2 将数据导入导出Hadoop. 2.1 导入导出的关键要素 2.2 将数据导入Hadoop . 2.2.1 将...

    大数据开发技术.pdf

    hadoop 安装包下载 2、hadoop 安装包解压 3、hadoop 伪分布式 环境搭建环境搭建步骤如下:1、将 hadoop 安装目录添加到系统环 境变量(~/.bash_profile)2、配置 hadoop 环境的配置文件 hadoop-env.sh3、配置 ...

    knimeHadoop:开源大数据分析工作台

    将路径更改为/hadoop/hdfs 2.2 测试服务导出 hdfs 客户端配置将配置上传到任何客户端节点。 设置环境:HADOOP_CLIENT_HOME=/home/hadoop/hadoop HADOOP_CONF_DIR=$HADOOP_CLIENT_HOME/conf HAD

    HTraceFlooder:用于测试通过 Java 客户端发送到 HTrace 的跨度

    它以可配置的速率通过 Java 客户端将跨度发送到 HTrace。 用法 建造 git clone https://github.com/cmccabe/HTraceFlooder.git cd HTraceFlooder/ mvn package ls -l target/HTraceFlooder.jar 用法 如果您安装了 ...

    Hbase安装及客户端测试及笔记

    配置文件同步其他服务器启动服务查看HBase 页面HBase Shell操作基本操作表的操作HBase数据结构RowKeyColumn FamilyCellTime Stamp命名空间Hbase 原理读流程写流程数据Flush过程数据合并过程HBase Api 操作环境准备...

Global site tag (gtag.js) - Google Analytics