sungang_1120
- 浏览: 309469 次
- 性别:
- 来自: 成都
-
最新评论
-
final7tifa：
感觉写的挺好
封装JAVA 通过反射 POI导出Excel文件(直接可用 含测试代码) -
漆停停：
...
封装JAVA 通过反射 POI导出Excel文件(直接可用 含测试代码) -
sybell：
很是不错的文章，不过要达到熟练使用，都还在实际项目中使用。
Effective Java学习(并发)之——同步访问共享可变数据
文章列表
Genesis. Is a Spring Cloud Project
Genesis 中文意思: 起源, 哈哈哈哈......
技术架构
genesis 是一个基于Spring cloud(Camden.RELEASE) Spring Boot(1.4.1.RELEASE) Mybatis(3.3.0) 通用Mapper 通用分页Pagehelper完成的一个基础组件架构，后面会持续更新...
MAVEN模块说明
1. 基础组件说明
项目名称
端口
描述
URL
genesis-common
无
公共模块（工具类,资源......）
无
换位思考真的是一个很好的习惯
- 博客分类：
- 随笔小记
换位思考真的是一个很好的习惯。换位思考，顾名思义就是换一个位置、换到对方的位置来思考问题。 在工作中，换位思考能够让我们明白对方、尤其是合作伙伴和上司的意思，从而发现事实的真相，最直截了当、最快速的解决掉问题；而不是陷入沟通不顺的境地、因为没能明白对方意思而不能完工甚至做了很多的无用功。在商业竞争和合作上则达到“知己知彼、百战百胜”的高度。
众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。
在使用HDFS的过程中，应尽量避免生成过多的小文件。
本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中，对小文件的合并方法
将本地的小文件合并，上传到HDFS
假设存放在本地的数据由很多个小文件组成，需要上传到HDFS。一般的做法是在本地使用脚本、程序先把小文件合并后再上传。
其实没有必要，HDFS中提供了一个很有用的命令 appendToFile，就可以解决这个问 ...
今天给大家分享下 使用flume采集日志，直接将日志导入对应的hive表中，然后使用hive进行日志分析
下面就以apache access log为例
具体使用hive的外部表还是普通的表，个人决定哈
我这里就以普通表来讲解，首先我们创 ...
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
- 博客分类：
- 细细品味-hive
- 细细品味-hadoop
今天使用flume采集apache access log到hive表中，然后使用hiveQL进行日志分析，出现错误：
需要修改
1,HIVE_HOME/conf/hive-env.sh
加上HADOOP_HOME=you home
2,HIVE_HOME/conf/hive-site.xml
加上
<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/local/hive-0.13.0/lib/h ...
total number of created files now is 100385, which exceeds 100000. Killing the j
- 博客分类：
- 细细品味-hadoop
- 细细品味-hive
今天将临时表里面的数据按照天分区插入到线上的表中去，出现了Hive创建的文件数大于100000个的情况，我的SQL如下：
hive> insert overwrite table test partition(dt)
> select * from table_tmp;
table_tmp表里面一共有570多G的数据，一共可以分成76个分区，SQL运行的时候创建了2163个Mapper，0个Reducers。程序运行到一般左右的时候出现了以下的异常：
[Fatal Error] total number of created files n ...
hbase shell出现ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException
- 博客分类：
- 细细品味-hbase
- 细细品味-hadoop
今天安装hbase HA之后启动hbase shell之后
输入list出现以下异常信息:
不过前提要保证你hbase相关进程都是正常运行
然后查看hbase 配置的logs目录出现
去google 了一下发现是
这是由于hadoop启动是还处在安全模式造成的
通过下面名查看 果然处于安全模式开启状态
hadoop dfsadmin -safemode get
hadoop dfsadmin -safemode leave 关闭
之后再执行hbase shell之后一些操作正常运行
TCMalloc优化Nginx、MySQL、Redis内存管理
TCMalloc(Thread-Caching Malloc)与标准glibc库的malloc实现一样的功能，但是TCMalloc在效率和速度效率都比标准malloc高很多。TCMalloc是google-perftools工具中的一个（gperftools四个工具分别是：TCMalloc、heap-checker、heap-profiler和cpu-profiler），这个工具是开源的，以源码形式发布。如果觉得自己维护一个内存分配器麻烦的话，可以考虑将TCMalloc静态库连接到你的程序中。使用的时候和glibc中的mall ...
有两个插件能够实现在Maven build集成Jmeter测试， jmeter-maven-plugin 和 chronos-maven-plugin. 选择哪一个取决于情况，下面是一些判断标准：
该插件不应该依赖于本地JMeter的安装。
它必须能够从命令行启动JMeter测试（无GUI）。
JMeter的图形用户界面也应该通过插件（例如，通过一个单独的Maven目标）直接实现。
它包含JMeter的插件。
该插件应该产生有意义的报告。
第一第二条两个都满足，jmeter-maven-plugin可以在无图形情况下使用一个简单的附加依赖项kg.apc:jmeter-plugi ...
转载于：http://www.blogjava.net/xiaomage234/archive/2014/11/11/419933.html
akullpp 在 Github 上发起维护的一个 Java 资源列表，内容包括：构建工具、数据库、框架、模板、安全、代码分析、日志、第三方库、书籍、Twitter、Java站点等等。
包括：
构建工具
Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-classic完整实现SL ...
Mysql 列转行统计查询 、行转列统计查询
-- ----------------------------
-- Table structure for `TabName`
-- ----------------------------
DROP TABLE IF EXISTS `TabName`;
CREATE TABLE `TabName` (
`Id` int(11) NOT NULL AUTO_INCREMENT,
`Name` varchar(20) DEFAULT NULL,
`Date` date DEFAULT NULL,
`Sc ...
mysql中用命令行复制表结构的方法:
1.只复制表结构到新表
CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2
或者
CREATE TABLE 新表 LIKE 旧表
2.复制表结构及数据到新表
CREATE TABLE 新表 SELECT * FROM 旧表
3.复制旧表的数据到新表(假设两个表结构一样)
INSERT INTO 新表 SELECT * FROM 旧表
4.复制旧表的数据到新表(假设两个表结构不一样)
在spring 3.0中，可以通过使用@value，对一些如xxx.properties文件 中的文件，进行键值对的注入，例子如下：
1 首先在applicationContext.xml中加入：
<beans xmlns:util="http://www.springframework.org/schema/util"
xsi:schemaLocation="http://www.springframework.org/schema/util http://www.springframework.org/schema/ut ...
我们在编辑文件时常常需要搜索单词和替换单词，VI编辑器也提供了搜索和替换的功能。首先按下斜杠(/),
前提是VI编辑器在一般模式下，也就是需要刚刚进入VI命令或按"ESC"后的模式，光标会自动移动到编辑器下方的命令行，用户输入搜索的字符串，按下“Enter”开始搜索，VI编辑器可能用以下三种方式相应用户的搜索。
1、当满足搜索条件的字符串出现在当前光标位置后面时，VI编辑器将光标跳转到第一个满足搜索条件的位置。
2、当满足搜索条件的字符串出现在当前光标位置前面时，VI编辑器将跳转带从开头开始的第一个满足搜索条件 的位置
...