sd543521
- 浏览: 469239 次
- 性别:
- 来自: 北京
-
最新评论
-
yakcy_33：
非常感谢
JSON字符串转javabean，MorphDynaBean cannot be cast to …… -
微Smile：
微Smile 写道还是没耐心 ...
迄今见过的最好的职业规划的文章 -
微Smile：
还是没耐心看完，再次 ...
迄今见过的最好的职业规划的文章 -
yobyppah：
非常感谢。
JSON字符串转javabean，MorphDynaBean cannot be cast to …… -
yupengcc：
非常感谢！
JSON字符串转javabean，MorphDynaBean cannot be cast to ……
文章列表
在通过java读取mysql的中文字段时出现中文乱码现象，网上多少设置mysql客户端的方式来解决，但是在很多情况下，我们只有读取的权限，没有其它的权限。因此只能在本地解决。mysql的默认编码是latin1也就是ISO-8859-1，因此需要在读写的时候做一个字符集的转换。
String test = new String(rs.getString(2).getBytes("ISO8859-1"),"GBK");
这样就可以正常显示汉字了
shell脚本调用hive示例
- 博客分类：
- hive
方法一：
建立shell脚本如下run.sh如下：
#!/bin/sh
#参数传递
source /etc/profile;
source ~/.bash_profile;
BASEDIR=`dirname $0`
cd $BASEDIR
#classpath优先当前目录
CLASSPATH=$BASEDIR
#classpath其次是config目录
#classpath再次是lib目录下面的所有jar包
#设置参数
D=`date +%Y-%m-%d`
YESTODAY=`date -d "1 days ago" + ...
在通过hive客户端连接远程时报错，java.net.UnknownHostException:
具体如下：
hive> select count(1) from tlbb.consume_log;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.redu ...
今天需要写一个shell脚本来完成apache日志的筛选，需求很简单，就是要把10分钟之前的日志找出来，然后放到另一个文件中。shell中用date命令对日期进行处理，但怎么获取10分钟之前的时间呢，仔细看了一下help，没有看出对时间的“运算”，有的也就是一些输出格式的描述。但有一个参数 -d or --date=STRING 其描述是display time described by STRING, not ‘now’，那这个STRING该怎么写才可以describe我想要的时间呢，使用 n second(s)/minute(s)/hour(s)/day(s)/year(s) ago ...
LEFT SEMI JOIN 是 IN/EXISTS 子查询的一种更高效的实现。
Hive 当前没有实现 IN/EXISTS 子查询，所以你可以用 LEFT SEMI JOIN 重写你的子查询语句。LEFT SEMI JOIN 的限制是， JOIN 子句中右边的表只能在
ON 子句中设置过滤条件，在 WHERE 子句、SELECT 子句或其他地方过滤都不行。
SELECT a.key, a.value
FROM a
WHERE a.key in
(SELECT b.key
FROM B);
可以被重写为：
SELECT a.ke ...
先确保你已经成功安装了HIVE和MYSQL
在hive-site.xml中添加如下内容，指定METASTORE的地址以及连接方式，hive和mysql的安装不再赘述。
一、在mysql中创建好需要使用的用户比如hadoop
mysql> CREATE USER 'hadoop'@'localhost' IDENTIFIEDBY 'hadoop';
如果是远程需要把localhost设置为远程的IP或者是%,%意味着在所有机器上可以访问。
二、对该用户赋相应的权限，如：
写道
GRANT ALL PRIVILEGES ON *.* TO'hadoop'@ ...
在eclipse下运行hadoop程序时遇到报错：
程序是创建了一个文件，
代码如下：
FileSystem fs = new FileSystem.get(conf);
Path path = new Path("hdfs://test.txt");
FSDataOutputStream.create(path);
报错如下：
java.lang.IllegalArgumentException: Wrong FS: hdfs:/
, expected: file:///
后来经过调查发下，hadoop需 ...
Hive搭建在Hadoop的基础之上，相对就会简单很多。只需要设置Hadoop的HADOOP_HOME和HIVE_HOME即可了
一、前置条件
hadoop，jdk已经安装成功
二、安装（只需要安装在namenode即可）
①把hive安装包解压
tar -xf hive-x.y.z.tar.gz
(解压到和hadoop安装同一级目录)
如/home/hadoop/下，我的hadoo安装目录为/home/hadoop/hadoop-0.20.2/
②环境变量配置
在~/.bash_profile中配置hive的安装目录（建议不要配置在/etc/profil ...
目前学习hadoop的书籍资料还不算多，在学习hadoop权威指南时，编写代码示例出现错误，代码为查找最好气温：
public class MaxTemperature {
public static void main(String[] args) throws IOException {
if (args.length != 2) {
System.err.println("Usage: MaxTemperature <input path> <output path>");
System.e ...
最近需要研究hadoop，昨天开始搭建环境。网上有相关的教程，可以参考http://wenku.baidu.com/view/9638bc0d4a7302768e9939ca.html
但是在安装过程中也出现了一些问题，需要注意的。
1.还需要设置
在hdfs.site.xml中设置的属性dfs ...
最近在做java性能优化的总结，给部门同学分享，在网上看到帖子说到x=x+1,x+=1,x++效率比较，分析了
三种方式的效率，觉得似乎有些道理，一般的结论如下：
x=x+1效率最低：<1>取右x地址<2>执行x+1得到右值存放到临时变量<3>取左x地址<4>将右值传给左x（编译器并不认为左右x地址相同）其次是x+=1：<1>取右x地址<2>执行x+1存放到临时变量<3>将得到的值传给x（因为x的地址已经读出）最快的是x++：<1>取右x地址<2>x自增1
于 ...
linux下新建用户及用户组需要root用户来操作
linux 下新建用户组命令：groupadd zhpt
[root@WEB_YQ_64_79 gamestat]# groupadd zhpt
新建用户：useradd zhpt
[root@WEB_YQ_64_79 gamestat]# useradd zhpt
useradd: group zhpt exists - if you want to add this user to that group, use -g.
此时用户并没有建立成功，因为：
[root@WEB_YQ_64_79 ...
PHP学习：
1.PHP数组长度
$len=count($str);echo $len;
2.判断字符串是否为日期和时间的一个正则
<?php
$time = '2011-12-29 12:21';
$reg = "/^[0-9]{4}(\-|\/)[0-9]{1,2}(\\1)[0-9]{1,2}(|\s+[0-9]{1,2}(:[0-9]{1,2}){0,2})$/";
if (preg_match($reg,$time)){
echo 1;
}else{
...
linux下建立软链接
- 博客分类：
- linux
实例：ln -s /home/gamestat /gamestat
linux下的软链接类似于windows下的快捷方式
ln -s a b 中的 a 就是源文件，b是链接文件名,其作用是当进入b目录，实际上是链接进入了a目录
如上面的示例，当我们执行命令 cd /gamestat/的时候 实际上是进入了 /home/gamestat/
值得注意的是执行命令的时候,应该是a目录已经建立，目录b没有建立。我最开始操作的是也把b目录给建立了，结果就不对了
删除软链接：
rm -rf
b 注意不是rm -rf b/
ln a b ...