ShihLei
- 浏览: 334199 次
- 性别:
- 来自: 北京
-
最新评论
-
u013430438：
图文并茂
EGit（Git Eclipse Plugin）使用 -
1927105：
赞挺实用的
JOL：查看Java 对象布局、大小工具 -
ShihLei：
wangming520liwei 写道上面的HA 架构图是不是 ...
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA） -
wangming520liwei：
上面的HA 架构图是不是来自 某个官网？ 想问下还记得地址么 ...
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA） -
ShihLei：
jxjxtang 写道public TimeV1MicroSe ...
SpringCloud（二）：声明式RestClient—Feign
文章列表
一 配置机器启动方式
命令：vi /etc/inittab
[root@localhost puppet]# vi /etc/inittab # inittab is only used by upstart for the default runlevel. # # ADDING OTHER CONFIGURATION HERE WILL HAVE NO EFFECT ON YOUR SYSTEM. # # System initialization is started by /etc/init/rcS.conf # # Individual runlevels ar ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2082625）！
一安装概述
Hadoop 安装的三种模式：
1）单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
2）伪分布模式（ ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2081676）！
概述
搭建hbase-0.96.1.1-cdh5.0.1 单机环境，伪分布式，完全分布式
一单机模式安装
在单机模式中，HBase使用本地文件系统，而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。zookeep监听一个端口，这样客户端就可以连接HBase了。
（一）程序包
JRE：jdk1.7.0_25
HBase：hbase-0.96.1.1-cdh5.0.1
（二）安装1）解压：tar -xvf ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2075801）！
一概述
Zookeeper是针对大型分布式系统的可靠协调系统。
核心服务总结如下：
可靠的协调系统：用于存储客户端集群相互协作的信息。（Zookeeper核心 ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2067716）！
一概述
获取动态资源，可以使用HtmlUnit，但是其对JS的支持还是不够完善。相对与HtmlUnit还有一种驱动浏览器的下载还原工具Selenium。可以打开浏览器，获取网页，下载解析，支持dom，js，解析效果更好，但是打开浏览器速度方面有一定损失。个人实验，禁用CSS，图片下载，速度还尚可。
Selenium也是自动化测试工具，支持驱动不同的浏览器，Firefox，IE，Chrome等，也包含HtmlUnit提供的驱动实现。
本文描述Selenium驱动 ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2067707）！
一 概述
HttpClient适合处理静态资源，网络爬虫等类似应用很大程度需要处理动态网页（内容有js填充，如百度图片，body里基本没有数据，碰到最麻烦的是新浪微博列表页）。将网页下载后，结合JS和Dom模型还原网页，我目前还未攻破，但在下载层还原网页，HtmlUnit是一种解决方案，虽然对JS的支持还是不完美。
HtmlUnit其实是自动化测试工具，集成了下载（HttpClient），Dom（NekoHtml），驱动JS（Rhino）。有一定的网页渲染能力，由 ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2067688）！
一 概述
HttpClient是最常见的Http请求工具，很好的封装 Http请求，响应，Cookies操作，适合网络爬虫处理静态页面及其他资源。
HttpCient能自动处理302客户端重定向，这个很喜欢！
HttpClient4.3.3 API较之前的版本有不少改变，本文描述请求响应，设置cookies，设置代理等方法。
二 版本
<dependency>
<groupId>org.apache.httpc ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2066627）！
一 概述
公司使用CDH4的环境，Job运行时环境选择的是MRV1，网络上搭建CDH4.4 HDFS ，MRV1 HA环境的资料非常少。尝试搭建，并将过程记录于《Hadoop_CDH4.4.0_MRV1_CDH4.2.2_安装手册_v0.2》；
二 规划
环境：
组件名
注：文章内容大量借鉴使用网上的资料，可惜没有记录参考地址，只能再传对作者说声抱歉并表示感谢！
一 基础
1）语法
枚举类型只能有私有构造器（这样做可以保证客户代码没有办法新建一个enum的实例）
枚举实例必须最先定义
2）特性
所有枚举实例都是public , static , final
实例存在顺序，定义从上倒下，顺序从0开始
可以实现接口，不能继承类（默认集成:java.lang.Enum<E extends Enum<E>>）
3）样例
interface IEnu ...
一 核心命令
创建密钥对：ssh-keygen
转发密钥：ssh-copy-id -i ~/.ssh/id_rsa.pub puppet@Hadoop-NN-02
常用密钥类型：
ssh-keygen -t dsa
ssh-keygen -t rsa
ssh-keygen -t rsa1
二 原理
（一）基础
1） 公钥：用于加密，存在于服务器
2） 私钥：用于解密，存在于客户机
（二）流程
1）客户端向服务器发出连接请求
2）服务器查看客户端公钥（~/.ssh/authorized_keys）该客 ...
使用线程技术多半是为了并发处理效果，单核通过CPU调度模拟多任务。
一 基础
实现1 ：继承java.lang.Thread类，重写run()方法实现线程任务。
public class SimpleThread extends Thread{
@Override
public void run() {
//线程任务
for (int i = 0; i < 10; i++) {
System.out.println("running " + i + " time!");
}
}
...