xq0804200134
- 浏览: 170573 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
大数据挑战与NoSQL数据库技术 试读有感
- 博客分类：
- 其他
大数据挑战与NoSQL数据库技术 试读有感
大数据，nosql可以说是互联网的一个新时代，对于像我们这样在IT界混的‘码农’来说还是很重要的。废话不多说，先说书......
在我看来书分三种：
1.入门级书 ...
Hive-0.5中SerDe概述
- 博客分类：
- hive
Hive-0.5中SerDe概述propertiesobjecttablestringnullstructure一、背景
1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网 ...
hive bucket
- 博客分类：
- hive
hive bucket
hive中table可以拆分成partition，table和partition可以通过‘CLUSTERED BY ’进一步分bucket，bucket中的数据可以通过‘SORT BY’排序。bucket主要作用：1. 数据sampling2. 提升某些查询操作效率，例如mapside join需要特别注意的是：clustered by和sorted by不会影响数据的导入，这意味着，用户必须自己负责数据如何如何导入，包括数据的分桶和排序。'set hive.enforce.bucketing = true' 可以自动控制上一轮reduce的数量从而适配bucke ...
Java性能优化技巧
- 博客分类：
- java常用
Java性能优化技巧
在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能。
1. 尽量使用final修饰符。 带有final修饰符的类是不可派生的。在JAVA核心API中，有许多应用final的例子，例如 java.lang.String。为String类指定final防止了使用者覆盖length()方法。另外，如果一个类是final的，则该类所有方法都是final的。java编译器会寻找机会内联（inline）所有的final方法（这和具体的编译器实现有关）。此举能够使性能平均提高 50%。
2.尽量重用对象。 ...
java内部类的作用
- 博客分类：
- java常用
java内部类的作用一、 定义放在一个类的内部的类我们就叫内部类。二、 作用1.内部类可以很好的实现隐藏 一般的非内部类，是不允许有 private 与protected权限的，但内部类可以2．内部类拥有外围类的所有元素的访问权限3.可是 ...
StringTokenizer 用法
- 博客分类：
- java常用
StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTokenizer(String str, String delim, boolean returnDelims)第一个参数就是要分隔的String，第二个是分隔字符集合，第三个参数表示分隔符号是否作为标记返回，如果不指定分隔字符，默认的是：”\t\n\r\f”2.核心方法public boolean ...
/** * 解析包含有DB连接信息的XML文件 * 格式必须符合如下规范： * 1. 最多三级，每级的node名称自定义； * 2. 二级节点支持节点属性，属性将被视作子节点； * 3. CDATA必须包含在节点中，不能单独出现。 * * 示例1——三级显示： * <db-connections> * <connection> * <name>DBTest</name> * <jndi></jndi> * <ur ...
SAX，DOM，JAXP，JDOM，DOM4J
- 博客分类：
- xml
第一：首先介绍一下SAX，DOM，JAXP，JDOM，DOM4J的基本知识：（注意：至于 JAXP | JAXB | JAXM | JAXR | JAX-RPC 分别指什么，查看http://gceclub.sun.com.cn/staticcontent/html/xml/faq/#jaxr_）
1、sax、dom是两种对xml文档进行分析的方法 ...
浅谈CSRF攻击方式
- 博客分类：
- web安全
一.CSRF是什么？
CSRF（Cross-site request forgery），中文名称：跨站请求伪造，也被称为：one click attack/session riding，缩写为：CSRF/XSRF。
二.CSRF可以做什么？
你这可以这么理解CSRF攻击：攻击者盗用了你的身份，以你的名义发送恶意请求。CSRF能够做的事情包括：以你名义发送邮件，发消息，盗取你的账号，甚至于购买商品，虚拟货币转账......造成的问题包括：个人隐私泄露以及财产安全。
三.CSRF漏洞现状
CSRF这种攻击方式在2000年已经被国外的安全人员提出，但在国内，直到06年 ...
Java日志框架
Log4j
Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；用户也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，用户能够更加细致地控制日志的生成过程。这些可以通过一个配置文件来灵活地进行配置，而不需要修改程序代码。
配置文件log4j.properties or log4j.xml,Logger的由低到高级别如下： ALL<DEBUG<INF
java nio Buffer 中 compact的作用
该方法的作用是将 position 与 limit之间的数据复制到buffer的开始位置，复制后 position = limit -position,limit = capacity
但如果position 与limit 之间没有数据的话发，就不会进行复制
下面举个例子：
将数据从一个channel 读取出来，然后写入另外一个channel
ByteBuffer buffer = ByteBuffer.allocate(4);
while((len=channelSrc.read(buffer))& ...
Next-Key锁定
- 博客分类：
- mysql
Next-Key锁定：避免幽灵问题
在行级锁定中，InnoDB 使用一个名为next-key locking的算法。InnoDB以这样一种方式执行行级锁定：当它搜索或扫描表的索引之时，它对遇到的索引记录设置共享或独占锁定。因此，行级锁定事实上是索引记录锁定。
InnoDB对索引记录设置的锁定也映像索引记录之前的“间隙”。如果一个用户对一个索引上的记录R有共享或独占的锁定，另一个用户 不能紧接在R之前以索引的顺序插入一个新索引记录。这个间隙的锁定被执行来防止所谓的“幽灵问题”。假设你想要从有一个标识符值大于100的子表读并锁定所有子记录，并想着随后在选定 ...
java annotation 入门
- 博客分类：
- java常用
一. 最常见的annotation@Override:用在方法之上，用来告诉别人这一个方法是改写父类的 @DePRecated:建议别人不要使用旧的API的时候用的,
MySQL优化GROUP BY－松散索引扫描与紧凑索引扫描
满足GROUP BY子句的最一般的方法是扫描整个表并创建一个新的临时表，表中每个组的所有行应为连续的，然后使用该临时表来找到组并应用累积函数(如果有)。在某些情况中，MySQL能够做得更好，即通过索引访问而不用创建临时表。
为GROUP BY使用索引的最重要的前提条件是所有GROUP BY列引用同一索引的属性，并且索引按顺序保存其关键字。是否用索引访问来代替临时表的使用还取决于在查询中使用了哪部分索引、为该部分指定的条件，以及选择的累积函数。
由于GROUP BY 实际上也同样 ...
MySQL Explain功能各种信息的解释
- 博客分类：
- mysql
我们先看一下在MySQLExplain功能中给我们展示的各种信息的解释：◆ID：QueryOptimizer所选定的执行计划中查询的序列号；◆Select_type：所使用的查询类型，主要有以下这几种查询类型◇DEPENDENTSUBQUERY：子查询中内层的第一个SELECT，依赖于外部查询的结果集；◇DEPENDENTUNION：子查询中的UNION，且为UNION中从第二个SELECT开始的后面所有SELECT，同样依赖于外部查询的结果集；◇PRIMARY：子查询中的最外层查询，注意并不是主键查询；◇SIMPLE：除子查询或者UNION之外的其他查询；◇SUBQUERY：子查询内层查询的第 ...