ShihLei
- 浏览: 334162 次
- 性别:
- 来自: 北京
-
最新评论
-
u013430438：
图文并茂
EGit（Git Eclipse Plugin）使用 -
1927105：
赞挺实用的
JOL：查看Java 对象布局、大小工具 -
ShihLei：
wangming520liwei 写道上面的HA 架构图是不是 ...
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA） -
wangming520liwei：
上面的HA 架构图是不是来自 某个官网？ 想问下还记得地址么 ...
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA） -
ShihLei：
jxjxtang 写道public TimeV1MicroSe ...
SpringCloud（二）：声明式RestClient—Feign
文章列表
一 开启和查看mysql 慢查询日志
（1）命令方式
set global log_queries_not_using_indexes=on ;
set global slow_query_log_file='/var/log/mysql/mysql-slow'.log;
set global long_query_time=0.1;
set global slow_query_log=on ;
注意事项1：
设置slow_query_log_file时，目录必须存在，并且mysql 有权读写该目录，
mkdir /var/ ...
编写不易，转载请注明：http://shihlei.iteye.com/blog/2306151
项目需要：
Flume收集日志，期望落地文件系统，按小时分割，并压缩保存。
Flume自带的File Roll Sink 只能按时间分割文件，不能定制存放目录，压缩文件等。所以自定义了Sink结合Log4j的RollingFileAppender的特性，完成该功能。
一 借助Log4j2 的Logger实现动态配置，filePattern分割文件压缩
package light.flume;
import java.nio.char ...
前言：
程序包命名规则
less.x86_64
其中：
Name : less
Arch : x86_64
Version : 458
Release : 9.el7
一 基本使用
1）查看指定程序
yum list [package_name] [package_name]
可以限制：
（1）列出所有已安裝的套件
yum list installed [package_name]
...
编写不易，转正请注明: http://shihlei.iteye.com/blog/2296886
环境准备：
mysql 安装包：mysql-boost-5.7.12.tar.gz
系统版本：CentOS Linux release 7.2.1511 (Core)
一 清理环境
yum list installed *mysql*
yum remove installed *mysql*
二 创建mysql组和用户
groupadd mysql
useradd -r -g ...
最近服务器运维，监控到大量的LAST_ACK状态的连接，学习了下TCP连接状态的情况及查看连接状态，网卡数据包统计查看
一 网络客户端服务器交互过程
二 TCP客户端服务器建立连接时的状态转换
三 TCP客户端服务器关闭连接时的状态转换
四 netstat 查看连接状态
1）查看TCP连接状态
命令：netstat -ant
[test@localhost ~]$ # netstat -ant
Active Internet connections (servers and established) Proto ...
记录系统等相关操作的时间，供在算法设计和架构设计中的时间延迟参考。
数据摘自《性能之巅——洞悉系统、企业与云计算》《大型网站架构技术—核心原理与案例分析》
注：在未提供机器配置的情况下，时间数据仅供比例参考，比较两个操作的轻重程度。
最新数据可参考：
http://www.eecs.berkeley.edu/~rcs/research/interactive_latency.html
总结：
1）纳秒级操作：
纳秒级：cpu计算cache访问
10~100纳秒级：cpu访问内存
...
一 命令输出解释：
dig www.baidu.com
# dig www.baidu.com
; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.37.rc1.el6_7.4 <<>> www.baidu.com
;; global options: +cmd
#以上部分由 +[no]cmd 选项控制，显示打印dig命令版本等信息
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2265159）
使用Eclipse 创建项目，Share 到 Git 仓库，并推送到GitHub 中
EGit 基本使用可参见《EGit（Git Eclipse Plugin）使用》
Eclipse：Luna Service Release 2 (4.4.2)
EGit：Eclipse 自带版本
一 项目Share本地Git仓库
1）Team > Share > Git
注：
红色方框的需要选择进入如下页面：
点击 Create Repo ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2263757）！
最近项目，需要对两个文件进行连接查询，从文件2中提取在文件1中选线id的记录。主要问题：两个文件都很大【 文件1：1亿记录 ； 文件2：8亿记录 】 方案：
方案1：Map启动将文件1表示读取bloomfilter，map处理文件2，发现存在即输出。问题：文件1过大，读取时间长，task直接timeout被kill。
方案2：使用Reduce端join，使用Hadoop data-join包的api进行连接
一 Hadoop ...
编写不易，转载请注明（ http://shihlei.iteye.com/blog/2244799）！
（一）Java 内存模型
摘自网上的内存模型图：
1）堆（heap——线程共享）：实例域，静态域，数组元素。
（1）新生代（young generation）: 新创建对象的存放区域
a）伊甸区（eden）：
b）幸存者0（survivor0）：
c）幸存者1（survivor1）：
（2）老年代（tenured | old generation）：
2 ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2124411）
最近跳槽，新公司使用Git，快速学习了下，开发主要用EGit插件，总结下。
前言：
1）Git于SVN的不同
Git是分布式数据库，本地创建仓库，即可在本地完成版本 ...
（一）常用命令
1）Maven 导出依赖lib 并打包
mvn clean dependency:copy-dependencies -DoutputDirectory=target/classes/lib -DincludeScope=runtime package
2）忽略测试错误
mvn test -Dmaven.test.failure.ignore=true
3） 安装跳过单元测试
mvn install -Dmaven.test.skip=true
4）运行
mvn exec:java -Dexec.mainClass=org.sonaty ...
概述：
基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计.
组成：
（1）用户接口：主要是cli ， beeline ， hiveserver2 client（thrift客户端）；用于接受用户任务。
（2）元数据存储：表结构和元数据存储于关系型数据库中，客户端通过访问metastore 服务获取元数据。
（3）解释器、编译器、优化器、执行器：HQL转换为作业。
（4）Hadoop：数据存储与HDFS中，查询操作转换成MapReduce作业。
安装：
Hive的安装主要 ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2084711）！
说明
本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。
word版：见附件吧！
一概述
（一）HDFS
1）基础架构
（1）NameNode（Master）
命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。
块存储管理
（ ...
编写不易，转载请注明（http://shihlei.iteye.com/blog/2083614）！
一概述
它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
版本：zookeeper-3.4.5-cdh5.0.1.tar.gz
二 单机安装
1）解压：tar -xvf zookeeper-3.4.5-cdh5.0.1.tar.gz
2）配置环境变量：vi ~/.bashrc
...