josephgao
- 浏览: 14686 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
0.8.1 Release
1. 需要将slf4j的jar包拷贝到kafka的lib目录下，否则运行producer和consumer的shell test会报错
2. 使用java的api，props.put("metadata.broker.list", "xxx.xxx.xxx.xxx:9092");如果brokerlist在server端kafka的配置是使用的hostname比如master,slave1,slave2，则需要java的client端知道这些hostname的路由，所有的broker
转自http://grepalex.com/2014/02/09/flume-and-hadoop-2.2/
flume1.4.0 使用的是protobuf 2.4.1
hadoop 2.2使用的是2.5，所以会出现verifyError的问题
解决办法：进入flume文件夹 rm -f lib/protobuf-java-2.4.1.jar lib/guava-10.0.1.jar
重新启动即刻
插入性能比：
lzotest表采用lzo压缩格式，nolzo无压缩， 分别启动20个线程，每个线程一条一条插入1w条数据
lzo耗时 54273ms， nolzo耗时53146
scan性能比：
逐条scan两张表， 20w条数据
lzo耗时 6509ms， nolzo耗时7593ms
压缩比：
60w条数据压缩前nolzo 205m
修改压缩格式为lzo后 数据为111m，压缩比为54.146%
综上所述，插入上开启lzo稍差但对比不明显，scan时lzo性能略有优势，压缩比还算比较可观
转自http://wiki.apache.org/hadoop/NameNodeFailover
一. 在dfs.name.dir上添加nfs目录，
<property>
<name>dfs.name.dir</name> <value>/export/hadoop/namedir,/remote/export/hadoop/namedir</value>
</property>
如何挂在nfs参见http://server.zdnet.com.cn/server/2007/0831/482007.shtml
http:/ ...
一. BufferStore
BufferStore，它包含两个Store, 笔者这里primaryStore是hdfsFileStore，secondaryStore是stdFileStore。
整个BufferStore工作的时候是一个有限状态自动机，有以下几个状态：
DISCONNECTED, SENDING_BUFFER, STREAMING,
三个状态的含义是主store挂 ...
1. master启动报out of memory， 修改/etc/security/limits.d/90-nproc.conf
/etc/security/limits.conf增加hbase用户的资源分配
1. 安装
easy install pip
pip install scrapy
2. Items, spider, itempipline 基本概念
scrapy startproject tutorial
vim items.py
class DmozItem(Item):
# define the fields for your item here like:
name = Field()
title = Field()
link = Field()
desc = Field()
class Torr ...
1. 插入模式
i 光标左边
I 行首
a 光标右边
A 行尾
o 向下一行插入
O向上一行插入
2. h j k l分别← ↑ ↓ →
3. w 下一个词， b上一个词 0 到行首，^到第一个字母， $到行尾
4. ctrl + f向下移动一屏， ctrl + b向上移动一屏
5. * 向下查找， #向上查找
6. ctrl + n自动补全
7.
1. maven dependency
<dependency>
<groupId>org.kubek2k</groupId>
<artifactId>springockito-annotations</artifactId>
<version>1.0.8</version>
<scope>test</scope>
</dependency>
2. 用法: ...
1. 下载firebird http://www.firebirdsql.org/en/server-packages/笔者选的是2.5.2
2. 解压，进入bin目录，install_super.bat
3. 我的电脑右键->管理->服务，将firebird的服务置成手动
4. 可选，下载一个firebird的client，笔者选的是FlameRobin还挺好用的
至此，可以试试firebird了，可以使用firebird/bin/isql,
CREATE DATABASE 'firstdb.gdb' USER 'sysdba' PASSWORD 'masterkey';
...
1. 去 https://pypi.python.org/pypi/xlrd/0.9.2下载xlrd-0.9.2.tar.gz
2. 解压安装，笔者用的macos，直接python setup.py install
3. 使用样例:
import xlrd
book = xlrd.open_workbook(fn)
#多少个sheet
print "The number of worksheets is", book.nsheets
#每个sheet的名字
print "Worksheet name(s):", book.sheet_ ...
一. hadoop rpc用到的jdk java包
1. java.lang.reflect 反射和动态代理
反射能做的事情：
a. 通过类的名字实例化某类
b. 通过类名和方法名调用某个方法（或类的静态方法）
c. 通过类名和属性名获取类（或对象）的某个属性
动态代理能做的事：
将某个接口的方法调用交给代理类，这样在调用这个方法之前被代理类截获，可做一些操作，有些注入和AOP的赶脚
...
import com.vividsolutions.jts.io.WKTReader;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import o ...
scribe安装与配置
1. 依赖软件:
a. autoconf:
wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz tar xvf autoconf-2.69.tar.gz
cd autoconf-2.69
./configure --bindir=/usr/bin
make && make install

b. 依赖库:
yum install libevent libevent-develpython-devel yum install gcc-c++
yum in ...
一. 需求
一处产生消息，两处消费，故采取Topic模式的activemq.
二. 下载及安装
http://activemq.apache.org/下载最新版本。
解压， 进入安装目录 bin/activemq start xbean:conf/activemq.xml
http://localhost:8161/admin查看mq状态，用户名和密码在conf/jetty-realm.properties，默认是admin, admin
至此server已启动。
三. server配置
conf/activemq.xml
1. message cursors, 引用htt ...