柯小芍
- 浏览: 12992 次
- 性别:
-
最新评论
文章列表
一、HIVE简介
Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。HIVE的操作语句称为HiveQL，他提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同时，HiveQL语言能力不足时，它也能允许使用传统map/reduce进行复杂数据分析。
Hive搭建在Hadoop平台之上。它并不是一个真正的数据库，他的元数据存储在其他的数据库中，例如mysql。Hadoop平台提供了HDFS分布式文件存储系统和Map/Reduce分布式计算系统。因为map/reduce编程是比较复杂的，而Hive是凌驾在这两个之上，用户只要熟悉简单的mysql语言就行。
Hive在 ...
一、添加数据
#进入hadoop安装目录
cd /usr/local/hadoop
#创建示例文件：input
#在里面输入以下内容：
Hello world, Bye world!
vi input
二、将你写的java程序导出jar包
在Eclipse上右键Export选择JAVA项 导出
在hadoop下新建sbin目录存放jar文件
#mkdir /usr/hadoop/sbin
将jar包放在/usr/hadoop/sbin目录下
一、环境
1.操作系统：CentOS6.2
2.java环境：jdk1.6.0_38
3.hadoop版本：hadoop0.20.2
4.hive版本：hive-0.9.0
二、先决条件
操作系统已经安装配置完成java环境、hadoop和mysql
三、安装步骤
#之后的都为命令
（一）解压hive包
1、将hive压 ...
一、先决条件
1.操作系统：CentOS6.2
2.java环境：jdk1.6.0_38
3.hadoop版本：hadoop0.20.2
二、安装步骤
1、新建hadoop用户
#useradd hadoop2、给hadoop用户root权限，设置hadoop用户的密码
1）打开/etc目录下的passwd文件
#vi /etc/passwd
修改将最后一行的第一个500改成0
2）设置密码
进入hadoop用户
#su - hadoop
修改密码
#passwd
3、用WSCP将hadoop包上传到/usr目录下面，并解压和更改名字
4、在 ...
一、操作系统
CentOS6.2
二、jdk安装配置
（1）安装jdk
1）创建安装目录，在/usr/java
（如果没有java目录，先进入usr目录下建立java目录）下建立安装路径
#mkdir /usr/java
并将文件拷到该路径下：
进入/usr/java目录
将jdk*****.bin文件拷贝至该目录中
jdk-6u11-linux-i586.bin 这个是自解压的文件，在linux上安装如下：1）先分配执行权限chmod 755 jdk****.bin 或者 chmod +x jdk****.bin2）执行以下安装命令#sh jdk****.bin （ ...
一、哈希表的概念
哈希表是一种新型的数据结构，它有两个重要的特点：
1.关键词查找
2.最优最快的查找算法
下面我用个例子来介绍它的结构和特点：
例如我们用学生的姓名作为关键字，来进行数据的查询
我们就要定义一个Hash函数，将数据用<K,V>这样的形式形成对应
英语字母有26个，我们将这26个字母相应赋予数字，用学生的姓名中的拼音首字母编号值相加求和，得到一个数，可知此值的最小值是3，最大值为78
然后，我们就可以建立一个78大小的数组，将编号对应的学生的信息存进去
这样比如我们在查找“刘丽”这个学生的信息时，就不用遍历数组了而是将它的编号算出来， ...
如何走进计算机的世界，先从最简单的运算来吧！！！！
下面是自己时常有些陌生的运算符，码下以备时时查看，也非常欢迎路过的看官查漏补缺~
1.%=和/=
如果a=7;%是取模或者说取余数，%=举例：a %= 3;相当于a=a%3;将a除3的余数赋给a，结果：a=1/是除法运算符，/= ：a /= 3; 相当于a=a/3;将a除3的值取整赋给a，结果：a=22.|、&、^、>>、<<都是运算符二进制数运算| 按位或，运算规则是：0|0=0，0|1=1，1|0=1，1|1=1例：53|22的结果为55，运算过程， 110 101 （53转为二进制是110101 ...
首先，先复习一下二叉树的一些基本知识
树：是一种非线性数据结构。
二叉树：是每个结点最多有两个子树的有序树
根节点：最上面的节点
叶节点：没有子树的节点
深度：二叉树的层数，就是高度。
右图就是一个二叉树 ...
File应用之文件搜索器（关键字搜索）
- 博客分类：
- JAVA学习
简要理解：文件搜索器其本质就是对文件目录的遍历查找。主要就是在根目录下进行循环遍历，如果是目录则继续查找，如果是文件就返回文件路径。但是简单的进行遍历在文件非常多则很是耗时，因此借用线程来节约时间。
此为文件搜索器的界面代码：
import java.awt.BorderLayout;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing. ...
Hadoop学习笔记之WordCount
- 博客分类：
- Hadoop
WordCount是hadoop的一个入门程序，其地位相当与java中的HelloWorld，它使用map/reduce对文本中出现的单词进行计数。
程序分三个部分：
Map类 Reduce类 和主函数
Map类：Map类继承Mapreducebase类并实现了Mapper接口，其中 MapReduceBase类:实现了Mapper和Reducer接口的基类（其中的方法只是实现接口，而未作任何事情）。Map在实现Mapper接口之后重写其map方法，将输入的<k1/v1>进行处理生成<k2/v2>作为reduce输 ...
众所周知，我们所有的数据在电脑上都是以“010101”的二进制形式存储的。BMP文件格式是windows中广泛使用的图片文件格式。
如果想要读取BMP格式的图片，首先就要了解bmp文件的数据存储方式。bmp文件按数据排列先后顺序由bmp文件头、位图信息头、调色板、位图数据四部分组成。其中：
bmp文件头：提供文件格式、大小等数据，占用14字节
位图信息头：提供图像尺寸、压缩方式等数据，占用40字节。如图：
调色板：索引与其对应颜色的映射表
位图数据：图像的数据，由图像尺寸决定。
下面我们通过一个具体的24位真彩bmp文件的数 ...
在介绍数组队列之前我想先介绍一下数组是为何物，数组是数据的一中存储结构，其定义为：
数组类型[] 数组名=new 数组类型[数组长度]
然而数组存储类型有许多不足就是长度一定，不能随机应变。于是我们创造队列以弥补这一缺陷。可以说队列是更加完美的数组。其实现方法如下：
package Sameple0419简单的队列;
/**
* 新建一个学生类
* @author Administrator
*
*/
public class Student {
private String name;
private int score;
public Stu ...
递归是什么？在说此之前，我先讲个故事吧，话说从前有座山，山上有个庙，庙里有个老和尚，老和尚在讲从前有座山，山上有个庙，庙里有个老和尚，老和尚在讲从前...............这就是递归，在自己的方法里不断的调用自己。那我们怎么实现这个递归呢？
首先，我们要声明老和尚这个对象
然后，写出讲故事这个方法
最后在这个方法中调用讲故事这个方法来使老和尚不停讲故事就行了！
上例只是简单地比喻，现在我们一起用递归方法做一个漂亮的图形吧！
首先做个画板
import java.awt.Color;
import java.awt.FlowLayout;
import java. ...
一、JAVA事件 在Java开发中，对于事件的处理非常重要，比如响应键盘的输入、鼠标的点击、窗口的移动等等都要涉及到Java事件的应用。 Java事件由事件类和监听接口组成，自定义一个事件前，必须提供一个事件的监听接口以及一个事件类JAVA。比如，如果你定义了一个按钮，当你点击这个按钮时，则会画一个圆，那么画圆这个事件就需要一个事件监听器来实现。许多事件监听接口系统都给定义好了，当我们用的时候直接调用就好。
二、什么是JAVA事件监听器 Java事件监听器即一组动作接口。 如ActionListener 继承的接口就是EventListener以实现方法:
public interf ...
- 2013-03-30 20:15
- 浏览 1252
- 评论(0)