水平扩展测试
用3个节点和1个节点做比较,3反而小于1
不过由于数据量小,虚拟机无法说明问题
hbase org.apache.hadoop.hbase.PerformanceEvaluation --nomapred --rows=10000 sequentialWrite 1
hbase org.apache.hadoop.hbase.PerformanceEvaluation --nomapred --rows=10000 sequentialRead 1
===3 nodes=======
[SequentialWriteTest] Min: 3879ms Max: 3879ms Avg: 3879ms
[SequentialReadTest] Min: 6646ms Max: 6646ms Avg: 6646ms
===1 nodes=======
[SequentialWriteTest] Min: 2470ms Max: 2470ms Avg: 2470ms
[SequentialReadTest] Min: 5325ms Max: 5325ms Avg: 5325ms
-------------------
hbase 大数据统计时 15w
count 'TestTable' 150000 row(s) in 126.0820 seconds
count 'TestTable',CACHE=>1000, INTERVAL => 100000 150000 row(s) in 8.3270 seconds
调试hbase的PerformanceEvaluation源代码
在bin/hbase中对client启动增加远程调试参数
if [[ $server ]]; then
echo "this is a server"
HBASE_OPTS="$HBASE_OPTS $SERVER_GC_OPTS"
else
echo "this is a client"
#HBASE_OPTS="$HBASE_OPTS $HBASE_MASTER_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10444"
HBASE_OPTS="$HBASE_OPTS $CLIENT_GC_OPTS"
fi
echo "this is a war"
发现需要有参数--nomapred才能使用本地的, 不然会使用mapred的所以日志结果出不来。
-----------
slave上停止不了hbase相关进程,可以用一下命令
hbase-daemon.sh stop regionserver
hbase-daemon.sh stop zookeeper
shell 命令
hbase shell
create 'mytable', 'cf'
put 'mytable','first','cf:info','patience and courage'
list
scan "users"
get "users","TheRealMT"
count "users"
scan "follows",{COLUMNS=>"f:from"}
第一步 disable '表名称' 第二步 drop '表名称'
scan 'TestTable',{LIMIT=>10}
Linux 命令
start-hbase.sh
hbase shell
------------------------
eclipse
hbase 0.96.2 匹配hadoop2.2
maven找不到hbase0.96的jar包(只有pom包), 将server中hbase的lib包拷贝到本地
------------
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.InitTables -f
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool add "TheRealMT" "Mark Twain" "samul@ss.com" "abc123"
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool list
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.mapreduce.TimeSpent src/test/resource/listing\ 3.3.txt ./out
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.LoadUsers 100
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.LoadTwits 100
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.TwitsTool list ayant68
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.UsersTool get ayant68
java -cp target/twitbase-1.0.0.jar HBaseIA.TwitBase.RelationsTool list follows tristan
java -cp target/twitbase-async-1.0.1.jar HBaseIA.TwitBase.AsyncUsersTool update
分享到:
相关推荐
hbase 安装包,分别有hadoop-common-2.2.0-bin-master、hbase-0.98.3-hadoop2
HBase相关资料.zip
代码中利用Hbase相关的API,包括对HBase的增删改查等操作,对于初学者学习HBase能够起到作用。 前提是导入hadoop和hbase相关的jar包,可以在hadoop集群上面下载.zip
spring 集成 Hbase所需jar包
代码中利用Hbase相关的API,包括对HBase的增删改查等操作,对于初学者学习HBase能够起到作用。 前提是导入hadoop和hbase相关的jar包,可以在hadoop集群上面下载.zip
zookeeper和hbase相关安装包及安装手册,适合Hadoop初学者下载使用
HBase相关知识;7.1 HBase相关知识;7.1 HBase相关知识;7.1 HBase相关知识;7.2 HBase功能应用; HBase的架构是依托于Hadoop的HDFS作为最基本存储基础单元,在HBase的集群中由一个Master主节点管理多个RegionServer,而...
在之前我们都已经将hadoop集群(三个节点)构建好了,接下来我们来安装一下zookeeper-3.5.7 + hbase-2.0.5。相信在有了之前那么多次经验,这次的安装肯定也不会难到大家。详细的zookeeper和hbase的详细教程,以及含有...
Hbase相关技术(官网手册),基于此手册可开发相关Hbase应用程序。
hbase-sdk是基于hbase-client和hbase-thrift的原生API封装的一款轻量级的HBase ORM框架。 针对HBase各版本API(1.x~2.x)间的差异,在其上剥离出了一层统一的抽象。并提供了以类SQL的方式来读写HBase表中的数据。对...
hbase相关包
使用DbVisualizer连接hbase的配置信息说明以及配置信息截图,hbase相关文件名称,可以通过参考压缩包中的相关文件来配置自己的文件目录,千万不可直接复制粘贴,每个人的配置文件是由区别的。
欢迎大家来观看
A.3实验三:熟悉常用的HBase操作 本实验对应第5章的内容。 A.3.1 实验目的 (1)理解HBase在Hadoop体系结构中的角色。(2)熟练使用HBase操作常用的 Shell命令。(3)熟悉HBase操作常用的 Java API。 A.3.2 实验平台 (1...
里面是Hbase相关参数的优化
3、对大数据行业感兴趣的相关人员。 课程内容 第一章 HBase入门 1. 简介 2. 集群搭建 3. HBase数据模型 4. 常用shell操作 5. shell管理操作 6. Hbase Java编程 7. HBase高可用 8. HBase架构 第二章 陌陌海量存储...
2、 安装Cygwin以及相关服务 2.1 安装Cygwin 2.2 配置环境变量 2.3 安装sshd服务 2.4 启动sshd服务 2.5 配置ssh登录 3、安装hadoop 3.1 修改hadoop-env.sh 3.2 修改core-site.xml 3.3 修改hdfs-site.xml ...
文档收集了一些网络上的hbase相关学习资料,对初学者来说是非常宝贵的,省去了在网上找的时间,又省去了看一些无用的资料的麻烦。
(1) 列出HBase所有的表的相关信息,例如表名、创建时间等;(2) 在终端打印出指定的表的所有记录数据;(3) 向已经创建好的表添加和删除指定的列族或列;(4) 清空指定的表的所有记录数据(5) 统计表的行数。2...
Hbase JAVA编程开发实验报告以及代码,1 按照“Hbase应用开发实验1.pdf”中给出的说明,完成相关相关实验及JAVA程序的编写、调试和运行,提交JAVA源程序(AccessObject.java, HBaseTester.java, User.java)及运行...