gaozzsoft
- 浏览: 414179 次
- 性别:
- 来自: 北京
-
最新评论
-
huijz：
...
Spring Data JPA研究-使用Spring Data JPA 简化JPA 开发(ZZ) -
用户名不存在：
[img][/img][*]引用[u][/u][i][/i][ ...
MongoDB 模糊查询的三种实现方式-morphia实现 -
junsheng100：
请给个完整的例子吧！包括jar文件等
java调用ffmpeg获取视频文件信息参数代码 -
mj：
谢谢！！
SQL Server里面如何导出包含(insert into)数据的SQL脚本 (转载ZZ)
文章列表
KPI diff OKRKPI Indicator 关注的是指标、思考工作如何评价OKR Objectives 关注的是目标、思考接下来要做的事
----------------------------------------------------------------------
有丰富截图的文章，详见我的微信公众号<<大数据架构之道与 ...
Linux常用命令总结
- 博客分类：
- Linux
Linux常用命令总结
find命令：
find -type f -name '*.properties'|xargs grep '8093'
find /home -type f -name '*.properties'|xargs grep '8093'
find / -type f -name '*.properties'|xargs grep '8093'
find / -type f -name '*.properties'|xargs grep -rn '8093'
-r 是递归查找
-n 是显示行号
find / -name zkCl ...
SQL注入攻击如何攻击的：
JDBC Statement不能避免SQL注入攻击
案例一-下方有个案例剖析：
String sql = "select * from user_table where username=
' "+userName+" ' and password=' "+password+" '";
攻击方式：
输入username=’or 1 = 1 --
输入username=' ;DROP DATABASE (DB Name) --
输入username=' ;delet ...
IDEA快捷键
1.创建main函数快捷键
在编写代码的时候直接输入psv就会看到一个psvm的提示，此时点击tab键一个main方法就写好了。
2.创建system.out.print快捷键
输入so，选择sout即可
3.创建for循环快捷键
输入for，选择fori即可
4.变量赋值 用快捷键 ctrl+alt+v 或.var 进行赋值
5.
ctrl+H 显示引用
ctrl+alt+u 显示类的引用图结构
alt+7 左侧显示一个类里边的所有方法
6.
ctrl + alt + O 删除import中没使用到的import类
Ctrl + N根据输入 ...
在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，
另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）中
/kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties
JMX_PORT=9991 /kafka/bin/kafka-server-start.sh -daemon /kafka/config ...
2PC 3PC Two-phase commit Three-phase commit
两个阶段是指：第一阶段：准备阶段(投票阶段)和第二阶段：提交阶段（执行阶段）。
接下来正式介绍2PC。顾名思义，2PC将分布式事务分成了两个阶段，两个阶段分别为提交请求(投票) ...
CAP
CAP 原则指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得
在分布式架构里, P必须有
Zookeeper保证C P
当向注册中心查询服务列表时，我们可以容忍注册中心返回的是几分钟以前的注册信息，但不能接受服务直接down掉不可用。也就是说，服务注册功能对可用性的要求要高于一致性。但是zk会出现这样一种情况，当master节点因为网络故障与其他节点失去联系时，剩余节点会重新进行leader选举。问题在于，选举leader的时间太长，30 ~ 120s, 且选 ...
ES集群中节点角色划分研究
- 博客分类：
- solr&&ES
简单说就是可以给ES集群中的节点分配不同角色，每种角色干的活都不一样。
Master
主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。为了防止脑裂，常常设置参数为discovery.zen.minimum_master_nodes=N/2+1，其中N为集群中Master节点的个数。建议集群中Master节点的个数为奇数个，如3个或者5个。
设置一个几点为Master节点的方式 ...
Redis 集群，顾名思义就是使用多个 Redis 节点构成的集群，从而满足在数据量和并发数大的业务需求。
在单个 Redis 的节点实例下，存储的数据量大和高并发的情况下，内存很容易就暴涨。同时，一个 Redis 的节点，内存也是受限的，两个原因，一个是内存过大，在进行数据同步的时候，全量同步的时候会导致时间过长，会增加同步失败的风险；另一个原因就是一般的 Redis 都是部署在云服务器上的，这个也会受到CPU的使用率的影响。
所以，在面对着大数据量的时候，就会 Redis 集群的方案来管理，同时也是把这么多 Redis 实例的CPU计算能力汇集到一起，从而完成关于大数据和高并发量 ...
LVS的优点：
1、抗负载能力强、工作在第4层仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的；无流量，同时保证了均衡器IO的性能不会受到大流量的影响；2、工作稳定，自身有完整的双机热备方案，如LVS+Keepalived和LVS+Heartbeat；3、应用范围比较广，可以对所有应用做负载均衡；4、配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率；LVS的缺点：1、软件本身不支持正则处理，不能做动静分离，这就凸显了Nginx/HAProxy+Keepalived的优势。2、如果网站应用比较庞大， ...
在生产中可以通过Hive表的文件格式及查询速度的对比来确定使用哪种文件格式，以节省空间和提高查询速度；
官方参考文档：https://cwiki.apache.org/confluence/display/HIVE
结论：
压缩效果：
最好的是：bzip2 ...
Spring Boot启动流程概述
- 博客分类：
- Spring Boot
1、创建SpringApplication实例：
public SpringApplication(ResourceLoader resourceLoader, Class... primarySources) {
this.sources = new LinkedHashSet();
this.bannerMode = Mode.CONSOLE;
this.logStartupInfo = true;
this.addCommandLineProperties = true;
this ...
Impala Shell 命令汇总和 ImpalaSQL研究
1、Impala 外部 Shell
Impala外部Shell 就是不进入Impala内部，直接执行的ImpalaShell 例如通过外部Shell查看Impala帮助可以使用： $ impala-shell -h 这样就可以查看了；
再例如显示一个SQL语句的执行计划： $ impala-shell -p select count(*) from t_stu
下面是Impala的外部Shell的一些参数：
• -h （--help） 帮助 • -v （--version） 查询版本信息 • ...
查看Hive 表在HDFS上的存储路径的两种方式:
第一种方法：desc formatted schema.tableName;
第二种方法，步骤如下
1、执行hive，进入hive窗口
2、执行show databases,查看所有的database;
3、执行use origin_ennenergy_onecard; 则使用origin_ennenergy_onecard数据库
4、执行show create table M_BD_T_GAS_ORDER_INFO
Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数
特殊变量列表
变量
含义
$0
当前脚本的文件名