blackproof
- 浏览: 1410087 次
- 性别:
- 来自: 北京
-
最新评论
-
guokaiwhu：
赞啊！今晚遇到相同的问题，正追根溯源，就找到了博主！
hbase 报错gc wal.FSHLog: Error while AsyncSyncer sync, request close of hlog YouAr -
喁喁不止：
很清楚，有帮助。
hive常用函数 -
dsxwjhf：
Good job !!
kafka获得最新partition offset -
Locker.Xai：
参考了
freemaker教程 -
maoweiwer：
为啥EPHEMERAL_SEQUENTIAL类型的节点并没有自 ...
zookeeper 入门讲解实例 转
文章列表
因为本人在用hbase，所以zk不用在安装，安装步骤如下
依赖包：
安装zeromq
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
sudo make install
configure报错：
configure: error: cannot link with -luuid, install uuid-dev.
#yum install libuuid-de ...
<build>
<pluginManagement>
<plugins>
<plugin> ... </plugin>
<plugin> ... </plugin>
....
</plugins>
</pluginManagement>
</build>
添加<pluginManagement>在plugins上下 ...
import java.net.InetAddress;
import java.net.UnknownHostException;
public class IpNameConvert {
InetAddress myIPaddress = null;
InetAddress myServer = null;
public static void main(String args[]) {
IpNameConvert mytool;
mytool = new IpNameConvert();
...
问题描述
在HBase上运行MapReduce作业时，报如下异常：IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString
使用HBase环境如下：CDH5.0.1, HBase版本：0.96.1
问题原因
This isssue occurs because of an optimization introduced in ...
打可执行jar包
1.打成大jar包，所有jar文件都在一起
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.3</version>
<configuration>
<appendAssemblyId>false</appendAssemblyId& ...
1.HFile详解
HFile文件分为以下六大部分
序号
名称
描述
1
数据块
由多个block(块)组成，每个块的格式为：[块头] + [key长] + [value长] + [key] + [value]。
2
元数据块
元数据是key-value类型的值，但元数据快只保存元数据的value值，元数据的key值保存在第五项（元数据索引块）中。
该块由多个元数据值组成。
3
fileInfo块
该块保存与HFile相关的一些信息。
fileInfo是以key值排序key-value类型的值。基本格式为：
keyValu ...
#!/bin/bash
for(( i = 0; i < ${count}; i++ ))
do
自从hive 0.11.0 开始，加入了类似orcle的分析函数，很强大，可以查询到分组排序top值
使用方法跟oracle没有差别
贴个小例子
查询的是同一个操作下pv前十的用户
select
*
,row_number() OVER(PARTITION BY t3.action ORDER BY pv desc) AS flag
from
(
select
action
,uuid
,count(1) as pv
from logtable t
group by t.action,uuid
) t1
where t1.flag<=10
...
用pig的时候，超不爱用pig带的函数，一般都自己写
但是用hive，就越来越懒，变成了能不写就不写自己的udf，哈哈
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
1.内置运算符
1.1关系运算符
运算符
类型 ...
当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的: 查询在key字段在a表中，但不在b表中的数据
Sql代码
select a.key from a where key not in(select key
转：http://suchalin.blog.163.com/blog/static/5530467720101191020878/
linux 与 windows 文件传输：rz/szZModem is a full-duplex file transfer protocol that supports fast data transfer rates and effective error detection. ZModem is very user friendly, allowing either the sending or receiving party to initi ...
linux内核笔记
linux 硬连接 软连接
ln p1 p2
普通的连接是硬连接，实在目录树上新增一个节点，指向连接节点（无法指向目录，或是有环）
ln -s p1 p2
这是建立软连接，是在p2上创建一个文件，存储的是p1的值（所以可以指向目录，或是空任何地址）
linux线程同步方法
1.同步-原子锁
2.临界区
3.非抢占式内核（传统unix）
4.禁止中断（不建议）
5.信号量
（每个数据结构一个信号量[一个整数，一个等待进程链表，两个原子方法down up]
当int>=0,允许链表中进程运行，并调用down;当int<0 ...
hive(0.9.0)：1.支持equality joins, outer joins, and left semi joins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为map-reduce任务，如果多张表使用同一列做join则将被翻译成一个reduce，否则将被翻译成多个map-reduce任务。eg：SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)将被翻译成1个map-reduce任务SELECT a.val, b.val, c ...
hive分内部表和外部表
create table xxx(
logtime string ,
traceid string ,
param string ,
result string ,
runtime string
) partitioned by (
logday string
) row format delimited fields terminated by '\t'
collection items terminated by ','
...