blgaici1
- 浏览: 136541 次
- 性别:
- 来自: 北京
-
文章列表
1.启动hive
hive
2.显示所有表
show tables;
3.查看表的内容
describe t_app;
4.hive导文件到本地
hive -e "select * from t_app where apk_id < 1000000 " > /home/hadoop/armmy
or
hive -e "insert overwrite local directory '/recommend/armmy/' select * from t_app where apk_id < 1000000 & ...
1.linux开机启动过程为：
kernel--->;init(/etc/inittab)--->;/etc/rc.d/rc.sysinit--->;/etc/rc.d/rc(切换运行级，最后一步调用rc.local)--->;getty
2. 检查linux启动的级别，shell 中运行：
runlevel
或者查看/etc/inittab 文件
3. 进入/etc/rc.d/rc3.d，检查S99local指向的文件
4.即直接编辑/etc/rc.d/rc.local文件即可
注意：rc.local 在开机自动启动时会以root权限执行 ...
1.http://blog.sae.sina.com.cn/archives/1988
linux shell 学习
- 博客分类：
- linux学习
1.查看进程号 pgrep gedit
2.查看环境变量 cat /proc/12401/environ
3.tr cat /proc/12401/environ | tr '\0' '\n'
4.代理设置 HTTP_PROXY=http://192.168.0.2:3128
export HTTP_PROXY
5.获取变量长度
var=1234567890
echo ${#var}
6.算术操作 let 、 (( )) 、[]
let result = no1+no2
echo $result ...
--------------------------------------------strom set up-------------------------------------
1.set up a zookeeper cluster
2.set up ZeroMQ 2.1.7
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
make install
configure: error: cannot link with -luuid, install uuid-de ...
新年计划
1.学习数据挖掘和机器学习教程，并应用到工作中
2.学习R语言和python语言
3.学习hadoop和Storm
4.学习设计模式和阅读开源代码
转自http://javatar.iteye.com/blog/814426
//用javassit得到动态代理
public T createJavassistBytecodeDynamicProxy(LoadBalance loadBalance,ConcurrentMap<String, T> map,Class ifaces){
try{
ClassPool mPool = new ClassPool(true);
CtClass mCtc = mPool.makeClass(ifaces.g ...
java 类加载器学习
- 博客分类：
- java学习
引用1.自定义类加载器
public interface InterfaceTest {
public void test();
}
public class IntefaceImpl implements InterfaceTest {
@Override
public void test() {
// TODO Auto-generated method stub
System.out.println("------------");
}
}
public class MyClassLoader exte ...
jackson 学习
- 博客分类：
- java学习
1.json 转为object对象
public class CouponMessageConverter implements MessageConverter {
private static ObjectMapper objectMapper= new ObjectMapper();
static {
objectMapper.configure(DeserializationConfig.Feature.FAIL_ON_UNKNOWN_PROPERTIES,false);
objectMapper.setVisibility(J ...
java 线程池 异常 处理 机制 分析
- 博客分类：
- java学习
public class ThreadTest {
public static void main(String[] args) {
ExecutorService exe = Executors.newFixedThreadPool(10);
ExecutorCompletionService com = new ExecutorCompletionService(exe);
Future future = com.submit(new Runnable(){
@Override
...
整个ThreadPoolExecutor的任务处理有4步操作：
第一步，初始的poolSize < corePoolSize，提交的runnable任务，会直接做为new一个Thread的参数，立马执行
第二步，当提交的任务数超过了corePoolSize，就进入了第二步操作。会将当前的runable提交到一个block queue中
第三步，如果block queue是个有界队列，当队列满了之后就进入了第三步。如果poolSize < maximumPoolsize时，会尝试new 一个Thread的进行救急处理，立马执行对应的runnable任务
第四步 ...
import org.apache.log4j.Logger;
import java.lang.management.ManagementFactory;
import java.lang.ref.Reference;
import java.lang.ref.ReferenceQueue;
import java.lang.ref.SoftReference;
import java.util.LinkedList;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.Conc ...
1.获取java程序进程号
jps
2.jmap
jmap pid #打印内存使用的摘要信息
jmap –heap pid #java heap信息
jmap -histo:live pid #统计对象count ，live表示在使用
jmap -histo pid >mem.txt #打印比较简单的各个有多少个对象占了多少内存的信息，一般重定向的文件
jmap -dump:format=b,file=mem.dat pid #将内存使用的详细情况输出到mem.dat 文件,可以用jvisualvm等工具进行内存分析
3.jstack
jstack $PID
可以找 ...
问题原因：由于HashMap是非线程安全的，在多线程访问时，造成死循环。
查找问题方法：
1.top
找出最耗费cpu的进程号 如：27377
2.top -p 27377 -H
找出此进程下的所有线程，然后找出最耗cpu线程号 如：27433
3.python hex(27433)
将十进制数转为16进制 如：0x6b29
4.jstack 27377 >cpu.log
将此进程号的Java堆栈信息打印到文件中
5.grep 0x6bz8 cpu.log
查看java堆栈中的线程nid 如：
"foundationTaskExecutor-2" prio ...
1、按字节读取文件内容
2、按字符读取文件内容
3、按行读取文件内容
4、随机读取文件内容
public class ReadFromFile {
/**
* 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。
*/
public static void readFileByBytes(String fileName) {
File file = new File(fileName);
InputStream in = null;
try {
...