- 浏览: 62150 次
- 性别:
- 来自: 上海
文章分类
最新评论
首先,ycsb放狗,第一个就是
https://github.com/brianfrankcooper/YCSB/wiki
新东西一般只有国外首先有技术文档,所以一定要耐着性子看英文,开个词霸,google翻译
从getting started开始
obtain YCSB source
首先是下载一个压缩包,或者安装git(类似svn)下载源代码,再build
build the basic package
解压后进入该文件夹,执行ant(只要jdk安装正确,一般都会成功)
然后build database layers
从原文我以为只要将hbase的jar拷入db/hbase/lib下就行了,其实不行,执行ant dbcompile-hbase后会报错:package org.apache.hadoop.conf找不到,而这只要将hadoop下的jar包拷过来就可以解决了
第二部分running a workload
它说有六步,其实最终只有以下几步
在hbase里建个表
数据装载
事务测试
当然是用默认的类,(如果有自己的测试设计,要重写coreworkload类?)
装载数据的命令:
java
-
cp
build
/ycsb
.jar:db
/hbase/lib/
*
com.yahoo.ycsb.Client -load \
-db
com.yahoo.ycsb.db.HBaseClient -P workloads
/workloada
\
-p
columnfamily=family -p recordcount=1000 -s > load.dat
执行事务:
java
-
cp
build
/ycsb
.jar:db
/hbase/lib/
*
com.yahoo.ycsb.Client -t \
-db
com.yahoo.ycsb.db.HBaseClient -P workloads
/workloada
\
-p
columnfamily=family -p operationcount=1000000
(这里我设的是10000,1M一段时间后内在用完,100000完成后还在不断继续,不知道为啥)
-s \
-threads
10 -target 100 > transactions.dat
六大步里有篇幅是介绍这些命令里的参数的
一般在运行完命令后,在YCSB的文件夹下面会有load.dat,transactions.dat文件的,里面记录了相应的结果
发表评论
-
centos7下安装hadoop2.6.4过程总结
2016-03-03 21:49 0linux是从ubuntu开始接触的,但听说做服务器的,而且 ... -
[转]Yahoo持续的Pig/Hadoop(MapReduce)工作流
2013-03-16 21:40 806传送门:http://blog.sina.c ... -
有关kvm
2013-03-16 21:15 1268有一台式机,希望能模拟一个三四台的小集群,因为装的ubun ... -
hadoop 源代码学习
2011-12-15 14:44 0根据《hadoop 源代码分析 完整版》 (四) 主 ... -
hadoop io机制 序列化与反序列化
2011-12-15 11:27 0原文: http://blog.csdn.net/asx20 ... -
MapReduce流程分析
2011-12-13 18:39 1219原文:http://blog.csdn.net/jackyda ... -
[转]Twitter首席工程师:如何“打败”CAP定理
2011-12-12 11:44 1857英文原文:How to beat the CAP theore ... -
自行编译hadoop eclipse-plugin for eclipse3.7
2011-12-12 11:33 2828主要是这两篇文章: http://varyall.iteye ... -
mapper,reducer的个数
2011-12-07 13:10 0《实战Hadoop》中第3章有一节讨论reducer的个数,从 ... -
hadoop eclipse plugin 之二
2011-12-03 11:47 1679前面已经有一篇记述了hadoop-plugin for ecl ... -
HDFS常用操作与API
2011-11-22 11:16 0《Hadoop》实践Chap2 相应条目下给出命令与贴图(另 ... -
MapReduce:一个重大的倒退
2011-10-14 15:55 1092原文:http://apps.hi.baidu ... -
hbase单机终于跑起来了
2011-11-02 15:00 4136去看了日志文件 2011-11-01 23:44:06,99 ... -
hbase终于跑起来了 续
2011-11-02 15:09 850其实在前面还有一段,没有保存下当时的经历,现在将配置项保存一下 ... -
hbase终于跑起来了再续
2011-11-02 21:01 759java.lang.NoClassDefFoundError: ... -
eclipse plugin 终于有作用了
2011-11-05 16:19 1435前几天一直无进展,今天也弄了半天,但是出现了转机,不再是那个“ ... -
erlang重新开张
2011-11-16 13:39 845以此庆贺重拾erlang 重看《erlang程序设计》 ... -
hbase 索引记录
2011-11-16 21:15 995根本目的是实时的查询速度 从两方面来看: 一、HBa ... -
yahoo论文:Benchmarking Cloud Serving Systems with YCSB
2011-11-16 21:16 1742摘要:针对大规模数据分析的mapreduce技术已被广泛意识和 ... -
HDFS study
2011-11-16 21:18 924http://varyall.iteye.com/blog/7 ...
相关推荐
hbase+ycsb工具
ycsb-hbase14-binding-0.17.0
本文讲解如何安装和配置YCSB,如何使用YCSB给Hbase加载测试数据,如何使用YCSB命令测试Hbase读写性能。主要解释了各个命令行参数的作用。
YCSB HBase Group 7-1 测试步骤
HADOOP&ZK&HBASE&YCSB集群搭建验证
benchmark_hbase_cassandra 使用 YCSB 对 HBase 和 Cassandra 进行基准测试的脚本。 数据库 - HBase 和 Cassandra benchmark_report.pdf 该文件包含使用 YCSB 的 HBase 和 Cassandra 基准测试结果的报告和观察结果。...
把这篇文档读完弄懂,Hbase就毕业了,我就是这么做的,分享出来
挺不错的一块压测工具,支持了不少数据库压测,以及一些搜索相关的压测,具体只用它操作过测试MongoDB,其他还没尝试,不过可以下载下来试下,真的挺好用哦
本人使用ycsb 0.1.4源码编译后 在 hadoop 2.4.0 的 hbase0.98.0 集群上测试通过。 由于资源上传受大小限制,所以只上传 编译后的文件。对不起我最大只能上传50M,只能上传编译方法了。下载源码,然后将下载后的pom....
YCSB: The Yahoo! Cloud Serving Benchmark and HBase E. HFile format version 2 E.1. Motivation E.2. HFile format version 1 overview E.3. HBase file format with inline blocks (version 2) F. Other ...
雅虎测试hbase性能工具,需要maven进行编译,修改根目录下的pom和hbase下面的pom即可
Yahoo 专门用于主流的 nosql 性能测试,java 编写,内集成 hbase,mongodb,cassandra,voldemort,redis。使用时注意需要将相应的数据库驱动复制到对应的数据库 lib 下面。
Cloud Serving Benchmark”,是雅虎开发的用来对云服务进行基础测试的工具,其内部涵盖了常见的NoSQL数据库产品,如Cassandra、MongoDB、HBase、Redis等等。在运行YCSB的时候,可以配置不同的workload和DB,也可以...
YCSB(Yahoo! Cloud Serving Benchmark)是雅虎开源的一款通用的性能测试工具。 通过这个工具我们可以对各类NoSQL产品进行相关的性能测试
非关系数据库(经常被称为NoSQL)的特点是弹性和可伸缩性。另外,它们可以存储大数据并与云计算系统协同工作。这些因素导致非关系数据库非常流行。在2013年,NoSQL数据库的种类达到了150多个,并且一直在增长,多种...
ycsb cassandra nosql 压力测试工具 已经编译好的工具,如果个人要自己编译需要下载800M的jar包。
ycsb压测mongodb方便压测的工具类
CSB英文全称:Yahoo! Cloud Serving Benchmark,可用于NoSQL数据库的基础测试。本文整理网上的YCSB应用实践,下载了0.8版本的源代码,在redhat6.4 64位环境下,完成编译,并用于MongoDB数据库的初步测试。
YCSB-cpp 雅虎! 用C ++编写的云服务基准( )。 这是的叉子。 当前支持LevelDB,RocksDB和LMDB。 建筑 只需使用make即可构建。 仅绑定LevelDB: make BIND_LEVELDB=1 BIND_ROCKSDB=0 BIND_LMDB=0 或修改...