zc0604
- 浏览: 224178 次
- 性别:
- 来自: 北京
-
最新评论
-
itway：
很棒的小demo
nodejs 之模拟登录 -
zgc123123：
阿斯达是事实上事实上事实上
利用java反射机制，实现对类的私有变量和私有方法的访问 -
Jabbar2011：
...
httpwatch的在IE8版本的开启 -
铁拳无敌孙中山：
试了下新浪微博的登录, 没有成功啊登录后重定向public S ...
腾讯，新浪微博模拟登录爬取数据 程序 ，无偿奉献了(java版本) -
sunshinan2013：
请问腾讯微博 p_skey这个cookie怎么取？
腾讯，新浪微博模拟登录爬取数据 程序 ，无偿奉献了(java版本)
文章列表
引言HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要，本文将继续前两篇文章中blog表的示例，介绍常用的Api。练习前的准备工作
创建一个Maven工程，加入以下依赖：
<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase</artifactId><version>0.90.2</version></dependency>如果你的Maven库里还没有hbase，还需要 ...
引言跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便，本文将以前面的blog示例，介绍HBase下MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解，如果你是初次接触Hadoop MapReduce编程，可以参考http://qa.taobao.com/?p=10523 这篇文章来建立基本概念。HBase MapReduce核心类介绍首先一起来回顾下MapReduce的基本编程模型，可以看到最基本的是通过Mapper和Reducer来处理KV对，Mapper的输出经Shuffle及Sort后变为Reducer的 ...
引言在上篇文章中介绍了如何利用MapReduce来分析HBase中的数据，并通过代码示例来演示。老实说，当我写完那段代码时我一点信心都没有，我非常想知道这个job能否正常执行，结果是否符合预期，怎么办呢?一个常见的流程可能是 ...
在hadoop中开启你的trash
- 博客分类：
- hadoop
hadoop fs -rmr /user 会把所有user目录下的所有目录和文件全都删除
这个命令运用的时候要慎重，他不会给你任何提示的。。。。
但是在hadoop中其实给了一个补救的措施，但是缺省情况下是不会开启的，这个其实就是trash机制，所以不需要提示
在core-site.xml中增加如下配置，表明rm后会在trash中保留多少分钟：
<property> <name>fs.trash.interval</name> <value>10080</value> <description> ...
（转自高飞鸟）
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即：每一个tasktracker同时运行的map任务数为2
某公司经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适此时的运行效率最高。
如果机器是8核的，所以最终配置如下：
<property> <name>mapred.tasktracker.map.tasks.maximum</name> <value> ...
在hadoop集群中NameNode的备份
- 博客分类：
- hadoop
Hadoop集群的NameNode的备份Posted by admin in Hadoop
Hadoop集群中，NameNode节点存储着HDFS上所有文件和目录的元数据信息
如果NameNode挂了，也就意味着整个Hadoop集群也就完了
所以，NameNode节点的备份很重要，可以从以下2个方面来备份NameNode节点
1. 在hdfs-site.xml中，配置多个name的dir到不同的磁盘分区上：
<property> <name>dfs.name.dir</name> <value>/pvdata/hado ...
在hadoop集群中删除结点
- 博客分类：
- hadoop
我们现有的Hadoop集群已经运行了一段时间了 （转自高飞鸟博客）
由于集群中的服务器分布在2个不同的机房，受跨机房带宽的限制
集群中在2个机房之间的数据传输很慢
所以想把另一个机房的3台服务器从Hadoop集群中去掉
Hadoop提供了Decommission的特性，可以按照以下步骤来操作：
1. 在hadoop的conf目录下生成一个excludes的文件，写上需要remove的节点ip
一个节点一行，注意要写ip，不能写Hostname，如：
10.15.10.4110.15.10.4210.15.10.43
2. 在hdfs-site.xml中增加配置 ...
在hadoop集群中添加结点
- 博客分类：
- hadoop
向一个正在运行的Hadoop集群中增加几个新的Nodes （转自高飞鸟的博客 www.tech126.com）
1. 新节点上部署java/hadoop程序，配置相应的环境变量
2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys
3. 新节点上设置host，需要有集群中各节点的host对应
4. 新节点上建立相关的目录，并修改属主
5. master的slaves文件中增加上相的节点，master上增加相应的host
6. 在新节点上启动datanode和tasktracker
/opt/sohuhadoop/hadoo ...
前一段时间发了一个控制台版的练练看小游戏，后来同学说做一个有界面的出来，大家都玩，于是就花了两天功夫，把以前的给加了界面，进行了改进。算法的思想还没有变，详情请看我的上一篇博客，地址为 http://zc0604.iteye.com/blog/1166242，下面给出我的程序源代码，用的素材图片是腾讯的表情，如果你想换成别的图片也可以，不过大小也要做更改，更改res/qqface下的图片就可以啦。程序可以通过双击run.bat就可会议运行（当然前提是装了JDK了，并配置了PATH和classpath）。
下边附件有源代码和程序运行效果图，程序缺陷还是没有做死局的判定。
最近登录校内在搜索一个大学老乡的时候，点击搜索时弹出一个框，这里边有世界各地的大学名称信息。于是便想要是能把这些数据给采集到，存起来，以后说不定能用到。于是有了下边的废话。
首先准备工具：
用到的jar包有：
json-lib-2.4.jar（解析json数据用）
json-lib-2.4.jar依赖的包有（commons-beanutils.jar，commons-collections-3.1.jar，commons-lang-2.3.jar，ezmorph-1.0.6.jar，morph-1.1.1.zip）
本来我想存到文件里的，后来想想还是存到数据库吧，于是又把以前常用到的工 ...
最近在看新水浒，被108好汉的英雄气概所折服了，这里面的些许台词不仅是当时人民生活的写照，和当今也类似之处。“我爸是李刚”是鲜活的小衙内的翻版，强人欺压百姓，官员相互勾结。。。。。，莫谈国事，哈哈。看了之后就是想把108个好汉的剧照给下载下来，后来找了一找，有一个网站收录了（可怜不全，只有五十四个）。问题来了，我可不想一个一个图片的下载，然后再去和名字一个一个对应。可能你也想到了，对，用程序解析这个网站的html，然后去下载图片，岂不很省力。以前接触过htmlparser,下面分享一下我是怎么做的啦。希望对你有帮助。
通过这个程序，我想你以后如果要下载很多琐碎的东西，如果还是一个个的去点 ...
记得有一句很有名的话：No reflection ,no frameworks
这一句短短的话道出了java 反射机制的强大。
java关于反射机制的包主要在java.lang.reflect中，structs,hibernate,spring等框架都是基于java的反射机制。
下面是一个关于利用java的反射机制，实现了对私有属性和私有方法的访问的简单例子，希望能对你有所帮助。
package test.reflection;
import java.lang.reflect.Field;
import java.lang.reflect.Method;
pu ...
看到师兄在玩连连看的游戏，于是乎突然想写一个自己的连连看游戏。我写的这个没有界面，只是一个控制台演示版，当然在这个基础上，用SWING或者Android的GridView扩充界面我想应该很容易吧。不再啰嗦赘述。
连连看游戏关键还是算法问题，任何两个棋子之多经过两个直角的折角连通就可以消去。能消去的两个棋子分以下三种情况:
1 可以用一条直线直接相连
2 经过一个折角相连
3 经过两个折角相连
在设计可以考虑，采用递归的思想，3-->2,2--->1 ，我的程序仅仅使用了3--->2而对于2，我没用递归。 ...
状态转换图强调一个对象在不同事件触发时，其内部状态的转变过程。
活动图类似与程序设计中的流程图。
协作图用于表现一定范围内对象之间协作的信息，强调参与信息交流的对象之间的组织结构。
可见下图所示：