rm -rf conf_$DATE > /dev/null 2>&1 mkdir conf_$DATE for t in `cat ../../table-oracle-tohbase.list | grep -v ^#` do table=`echo $t | awk -F ',' '{print $1}'` sh genconf.sh $table done
USUAGE="Usuage: bash run_all_bulkload.sh" source ../../../conf.properties LOG_DIR=logs_$DATE if [ ! -d $LOG_DIR ]; then mkdir $LOG_DIR fi for t in `cat ../../table-oracle-tohbase.list | grep -v ^#`; do table=`echo $t | awk -F ',' '{print $1}'` echo "Bulkload "$table" ..." nohup sh run_bulkload.sh $table > $LOG_DIR/$table.log 2>&1 & done
#! /bin/bash USUAGE="Usuage: bash run_bulkload.sh [TABLENAME] <-test>" PROJECT_HOME=. CLASSPATH=$PROJECT_HOME/lib/bulkload.jar IS_TEST=1 #Default is false 闈炴祴璇? if [ "$#" -lt "1" ]; then echo $USUAGE exit 1 elif [ "$#" -eq "1" ]; then TABLENAME=$1 elif [ "$#" -eq "2" ]; then TABLENAME=$1 IS_TEST=0 else echo $USUAGE exit 1 fi source ../../../conf.properties tablename=$TABLENAME"_"$DATE CONF_FILE=conf_$DATE/$tablename.properties source $CONF_FILE # When use the test mode, judge whether the test parameters have been set checktest=0 if [ "$IS_TEST" -eq "0" ]; then if [ "$test_outputDir" = "" ]; then echo "ERROR: You must set the test_outputDir in the conf file." checktest=1 fi if [ "$test_tableName" = "" ]; then echo "ERROR: You must set the test_tableName in the conf file." checktest=1 fi fi if [ "$checktest" -eq "1" ]; then exit 1 fi if [ "$IS_TEST" -eq "0" ];then HFILE_DIR=$test_outputDir HBASE_TABLE_NAME=$test_tableName INDEX_TABLE_NAME=$test_indextablename else HFILE_DIR=$outputDir HBASE_TABLE_NAME=$tableName INDEX_TABLE_NAME=$indextablename fi #======= Check and disable the hbase table =============== echo "Check whether the table exists" if echo "list" | hbase shell | grep $tableName ; then echo "The table has existed, disable and drop the table" echo "disable '$tableName'; drop '$tableName'" | hbase shell fi echo "Start loading data into HBase at `date`" start=`date +%s` jars=`ls $PROJECT_HOME/lib` for jar in $jars do CLASSPATH="$CLASSPATH:$PROJECT_HOME/lib/$jar" done CLASSPATH=/etc/hdfs1/conf:/etc/hadoop/conf:/etc/hbase/conf:$CLASSPATH sudo -u hdfs hdfs dfs -rm -r $HFILE_DIR if [ "$IS_TEST" -eq "0" ]; then java -Djava.library.path=/usr/lib/hadoop/lib/native -cp $CLASSPATH com.transwarp.hbase.bulkload.ImportTextFile2HBase $CONF_FILE -test else java -Djava.library.path=/usr/lib/hadoop/lib/native -cp $CLASSPATH com.transwarp.hbase.bulkload.ImportTextFile2HBase $CONF_FILE fi sleep 60 sudo -u hdfs hdfs dfs -chmod -R 777 $HFILE_DIR sleep 60 if [ "$INDEX_TABLE_NAME" != "" ]; then /usr/lib/hbase/bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles $HFILE_DIR $INDEX_TABLE_NAME else /usr/lib/hbase/bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles $HFILE_DIR $HBASE_TABLE_NAME fi #echo "Delete the hfile output dir " #sudo -u hdfs hdfs dfs -rmr $HFILE_DIR end=`date +%s` interval=`expr $end - $start` echo "End loading data into HBase at `date`" echo "Time used $interval seconds"
相关推荐
1.Linux管理文件和目录的命令 2.有关磁盘空间的命令 3.文件备份和压缩命令 4.文件备份和压缩命令 5.管理使用者和设立权限的命令 6 线上查询的命令 7.文件阅读的命令 8.网络操作命令 9.定位、查找文件的命令 10.其他...
Linux文件的复制、删除和移动命令 Linux目录的创建与删除命令 Linux文本处理命令 Linux备份与压缩命令 在Linux环境下运行DOS命令 Linux与用户有关的命令 Linux系统管理命令 Linux磁盘管理
linux常用命令:包括:备份压缩 磁盘管理 网络传输 文件传输 文件管理 系统管理
Linux常用基本命令之备份与压缩命令解压密码www.29shua.com
Linux 入门常用命令 1 Linux进入与退出系统 1 Linux文件的复制、删除和移动命令 2 rm命令 3 Linux目录的创建与删除命令 3 Linux文本处理命令 6 Linux备份与压缩命令 7 Linux改变文件或目录的访问权限命令 9 Linux与...
Linux常用命令全集,函数速查手册。包括如下章节内容:文件管理、文件传输、文档编辑、系统管理、系统设置、网络通讯、磁盘管理、磁盘维护、备份压缩、设备管理等命令。助你快速查找linux命令,掌握linux命令,熟练...
linux常用简单命令 大总结 linux常用简单命令 大总结 linux常用简单命令 大总结
Suse linux常用命令和novell 相关服务停止和启动命令 及定时备份删除脚本
Linux常用命令RPM 的详解文档 ,RPM命令详解
Linux的常用命令,整理了Linux系统中的常用命令,为Linux的学习和命令查询提供方便。包括一、系统管理与设置; 二、用户和用户组管理; 三、磁盘管理; 四、文件和目录管理; 五、备份与压缩; 六、网络管理与相关应用; ...
文档为Linux系统常用的命令集合,详细介绍linux中的常用命令的使用。文件操作,磁盘管理,系统备份,等命令。
Linux常用命令全集 文件管理 cat chattr .... which 文件传输 bye ftp 文件编辑 系统管理 备份压缩 设备管理
Linux常用命令是Linux操作系统中用于管理、配置、操作和交互系统的基础工具集合。这些命令为Linux用户提供了广泛的功能,从基本的文件和目录管理到复杂的系统配置和网络管理。对于Linux系统管理员、开发人员、IT运维...
linux 系统备份 常用命令 磁带机 如何做好Linux磁带机备份
SSH 远程管理 Linux 常用命令文件上传下载 一、SSH 基础知识 SSH(Secure Shell)是一种安全的远程登录协议,使用加密技术来保护数据的传输。 SSH 客户端软件可以连接到 SSH 服务器,实现远程管理和文件传输。 ...
1. Linux进入与退出系统 ...5. Linux备份与压缩命令 6. 在Linux环境下运行DOS命令 7. Linux改变文件或目录的访问权限命令 8. Linux与用户有关的命令 9. Linux系统管理命令 10.Linux磁盘管理 11.Linux其它命令
Linux 入门常用命令 Linux 作为自由软件,受到广大计算机爱好者的喜爱。它不仅提供了 Unix 的全部功能,还可以根据用户的需要进行修改。因此,让我们一起从每一个命令开始,走向 Linux 高手之路吧。 1. Linux 进入...
Linux常用命令全集 doc版 .1 备份压缩 1.1.1 ar ar ________________________________________ 功能说明:建立或修改备存文件,或是从备存文件中抽取文件。 语 法:ar[-dmpqrtx][cfosSuvV][a<成员文件>][b<成员...