blackproof
- 浏览: 1410047 次
- 性别:
- 来自: 北京
-
最新评论
-
guokaiwhu：
赞啊！今晚遇到相同的问题，正追根溯源，就找到了博主！
hbase 报错gc wal.FSHLog: Error while AsyncSyncer sync, request close of hlog YouAr -
喁喁不止：
很清楚，有帮助。
hive常用函数 -
dsxwjhf：
Good job !!
kafka获得最新partition offset -
Locker.Xai：
参考了
freemaker教程 -
maoweiwer：
为啥EPHEMERAL_SEQUENTIAL类型的节点并没有自 ...
zookeeper 入门讲解实例 转
文章列表
这里写下HRegionServer在做put操作的源码：
HRegionServer
public MultiResponse multi(final RpcController rpcc, final MultiRequest request)
throws ServiceException {
....
try {
region = getRegion(regionAction.getRegion());//获得对应操作的Region
} catch (IOException e) {
regi ...
配置hadoop lzo
一、下载、解压并编译lzo包
1 [wyp@master ~]$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
2 [wyp@master ~]$ tar -zxvf lzo-2.06.tar.gz
3 [wyp@master ~]$ cd lzo-2.06
4 [wyp@master ~]$ export CFLAGS=-m64
5 [wyp@master ~]$ ./configur ...
一、回顾JVM内存分配
需要了解更多内存模式与内存分配的，请看 深入JVM系列（一）之内存模型与内存分配
1.1、内存分配：
1、对象优先在EDEN分配2、大对象直接进入老年代 3、长期存活的对象将进入老年代 4、适龄 ...
现象：60020中有许多连接，并且长久不放；
hbase hbck已经连接不上60020
日志中出现大量以下日志：
2014-12-24 17:36:47,821 WARN [RpcServer.handler=1,port=60020] retry.RetryInvocationHandler: Exception while invoking class org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.get
Bl ...
hbase get/scan的时候
StoreFileScanner next方法
使用HfileReaderV2的内部静态类ScannerV2（HFileScanner） next方法
使用HFileReaderV2 readBlock方法：
1.封装为blockcachekey
2.从blockcache中获取block
3.从hfile中获取block
4.将block放入blockcache中
HfileReaderV2 readBlock
/**
* Read in a f ...
CompactionChecker类 定时判断是否进行compact，
定时判断间隔hbase.server.compactchecker.interval.multiplier默认1000
@Override
protected void chore() {
for (HRegion r : this.instance.onlineRegions.values()) {
if (r == null)
continue;
for (Store s : r.getStores().values()) { ...
PeriodicMemstoreFlusher类 定时判断是否触发memflush，
判断间隔hbase.server.thread.wakefrequency 默认10S
@Override
protected void chore() {
for (HRegion r : this.server.onlineRegions.values()) {
if (r == null)
continue;
if (r.shouldFlush()) ...
hbase rs启动的内存要求
1-hbase.regionserver.global.memstore.upperLimit-hfile.block.cache.size<=(HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD = 0.2f)
也就是memstore和blockcache要小于等于heap的80%
private static void checkForClusterFreeMemoryLimit(Configuration conf) {
float globalMemstoreLimit = conf.getFlo ...
纯笔记，勿看
集群迁移
hadoop distcp -D mapreduce.job.queuename=rtb -D dfs.checksum.type=CRC32 hdfs://mycluster/hbase/data/default/table hdfs://ip161:8020/user/dirkzhang > report.log 2>&1 &
hadoop distcp hftp://nn.xxx.xx.com:50070/user/nlp/warehouse/t_m_user_key_action /user/n ...
源码为0.98.1
HRegionServer中起线程MemStoreFlusher
private void initializeThreads() throws IOException {
// Cache flushing thread.
this.cacheFlusher = new MemStoreFlusher(conf, this);
// Compaction thread
this.compactSplitThread = new CompactSplitThread(this);
.......
p ...
---compact split笔记
compact策略：
在启动region之后，memflush之后，用户compact调用compact
使用策略类needsCompaction方法，hfile数量大于hbase.hstore.compaction.min 和 hbase.hstore.compactionThreshold的最大值数（默认值为3）
major compact触发：(hfile由mem flush生成)
HStore检查是否进行compact时候，现在now - 上次major时间大于hbase.hregion.majorcompaction下次时 ...
安装spark，见上文
http://blackproof.iteye.com/blog/2182393
配置window开发环境
window安装scala
下载scala http://www.scala-lang.org/files/archive/scala-2.10.4.msi
安装即可
window配置eclipse
下载eclipse
http://downloads.typesafe.com/scalaide-pack/4.0.0-vfinal-luna-211-20150119/scala-SDK-4.0.0-vfinal-2.11-win3 ...
1、准备文件
2、加载文件
3、显示一行
4、函数运用
（1）map
（2）collecct
（3）filter
安装scala
下载scala-2.11.4
解压
配置环境变量
SCALA_HOME=/home/hadoop-cdh/app/test/scala-2.11.4
PATH=$PATH:$SCALA_HOME/bin
安装spark
下载
spark-1.2.0-bin-hadoop2.3 （需要和hadoop版本对应，不然会有protocal的错）
解压
配置spark-env.sh
export JAVA_HOME=/home/hadoop-cdh/java/jdk1.7.0_06
export SCALA_HOME=/home/hadoop-cdh ...
ref ： http://blog.csdn.net/miqi770/article/details/40514099
很坑的问题，默认的库里没有jms:jar:1.1 ， url地址失效了，需要用其他版本的log4j
[INFO] ------------------------------------------------------------------------ [INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ ...