muruiheng
- 浏览: 95746 次
- 性别:
- 来自: 北京
-
最新评论
-
ghostband：
sqoop:000> start job -j 3 -s ...
sqoop2 常见问题 以及处理方式
文章列表
HIVE 配置属性的意义，留着做笔记用，感谢大牛们的翻译
hive.exec.mode.local.auto
决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行）
默认值：true
hive.exec.mode.local.auto.inputbytes.max
如果hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。
默认值：134217728L
hive.exec.mode.local.auto.tasks.ma ...
CDH Hadoop 集群部署方案
- 博客分类：
- hadoop
1、 集群规划
主机名称 主机IP 安装软件 运行的进程node1 10.1.19.100 zookeepr1 DataNode、NodeManager、JournalNode、QuorumPeerMainnode2 10.1.19.144 zookeepr2 DataNode、NodeManager、JournalNode、QuorumPeerMainnode3 10.1.19.146 zookeepr3 DataNode、NodeManager、JournalNode、QuorumPeerMainno ...
一、报错：The specified function "connection" is not recognized.原因是版本不一样，SQOOP 1.99.4以后命令就变了: 具体看这里：https://sqoop.apache.org/docs/1.99.4/CommandLineClient.html#create-link-function
二、sqoop端口冲突
要注意一下$SQOOP_HOME/server/conf/server.xml中的tomcat端口问题，确保这些端口不会和你其他tomcat服务器冲突。
三、在start job(如：star ...
启动Client
/usr/hadoop/sqoop-1.99.5-cdh5.5.1-bin-hadoop200/bin/sqoop.sh client
为客户端配置服务器：set server --host node3--port 12000 --webapp sqoop 【红色部分为 本机hostname 主机名和端口号】
sqoop:000> set server --host node3--port 12000 --webapp sqoop
使用 show version --all 查看服务器配置
sqoop:000> show version ...
1.安装准备工作：已经装好的 hadoop 环境是cdh版本 hadoop-2.6.0 64位下载的sqoop安装包 （不知道这个安装包支不支持64位，所以我下载的源码，然后自己编译源码）http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.5.1.tar.gz源码下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.5.1-src.tar.gz编译源码
编译环境与hadoop的编译环境一致，详细配置请查看《Hadoop学习笔记 6 Ha ...
Openfire 集成 原有用户系统
- 博客分类：
- openfire
Openfire 提供了一套 JDBC的用户整合方案，使用这个方案可以整合现有系统用户信息；
所有的配置信息都可以Openfire的控制台完成配置，不过作为屌丝程序员，还是习惯了直接通过sql修改配置的方式完成；
修改的配置信息如下：
delete from ofProperty;
Insert into ofProperty (name,propValue) values ('adminConsole.port','9090');
Insert into ofProperty (name,propValue) values ('adminConsole.securePort ...
HBase运行模式:
单机和分布式（伪分布式、真分布式），我们今天配置的环境是真分布式环境
OS：Redhat 6.5 64bit
JDK:JDK1.7
Hadoop:2.7.1
Zookeeper:3.4.6
HBase集群环境是在HDFS环境中运行的，在安装HBase集群之前必须配置好HDFS的集群环境
配置之前，请先自行到Hbase官方网站下载安装包，我用的是目前最新的版本Hbase1.1.2
http://mirrors.hust.edu.cn/apache/hbase/stable/
1.上传hbase安装包到Linux环境
2.解压
3. ...
在学习Hadoop开始，便被告知官网只提供了32位系统的安装文件，如果要在64位系统中运行，那就得自己重新编译安装文件；
前段时间一直在学习怎么样安装使用Hadoop，先把编译64位的安装文件忽略了，等到对Hadoop熟悉之后再学习会更省时间，还不错，跟预想的一样。
下面就介绍一下怎么样编译64位的安装文件
系统环境
OS：RedHat6.5 64bit企业版
JDK：1.8.0_20 64bit
硬件：虚拟机
1、 前期准备
作为一个屌丝开发程序员，看到源码中的pom.xml之后就轻松了下来，这不就是maven构建的项目吗！赶紧的安装maven
#tar -xvzf ...
1.上传sqoop2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://10.1.19.244:3306/openfire --username root --password 123 -- ...
Partioner是通过启动多个map 与Reduce来将文件中的数据进行分组, 在Mapper向Reducer输出之前对输出进行分组并根据此次分组指定每组数据在那台机器上执行，将结果输出到不同文件。
以下为实现代码：
package com.itbuilder.mr;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop. ...
一、 集群规划：主机名称 主机IP 安装软件 运行的进程hadoop01 10.1.19.130 zookeepr1 DataNode、NodeManager、JournalNode、QuorumPeerMainhadoop02 10.1.19.132 zookeepr2 DataNode、NodeManager、JournalNode、QuorumPeerMainhadoop03 10.1.19.134 zookeepr3 DataNode、NodeManager、JournalNode、QuorumPeerM ...
zookeeper 集群安装配置
- 博客分类：
- hadoop
1、安装配置环境
OS：linux redhat6.5 64bit
JDK： 1.7.1
zookeeper: 3.4.6
2、下载zookeeper安装文件
下载地址：http://archive.apache.org/dist/zookeeper/stable/
3、 安装zookeeper
使用tar命令解压zookeeper的压缩文件即可
tar /usr/loca/zookeeper-3.4.6.tar.gz /usr/local
4、配置zookeeper
首先修改机器hostName
vi /etc/hosts
内容为：
10.1.1 ...
1.2 MapReduce开发实例
MapReduce 执行过程，如下图，（先由Mapper进行map计算，将数据进行分组，然后在由Reduce进行结果汇总计算）
直接上代码
package com.itbuilder.hadoop.mr;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import or ...
1、 搭建linux环境
我准备的环境是VM RedHat Linux 6.5 64bit 设置固定IP vim /etc/sysconfig/network-scripts/ifcfg-eth0
将IP地址设定为192.168.38.128
修改主机名： vim /etc/hosts
将主机名改为 itbuilder1
2、安装JDK
配置好JDK的环境变量
3、安装hadoop环境
从Apache官网下载2.7.1版本的hadoop核心包
...
开发传统应用遇到的最大问题就是多数据源的事务一致性问题， 下面介绍一种常用的分布式事务处理方式的使用
开发环境：Eclipse+Java1.7 + tomcat7， 另外使用到的开源框架 Spring3.X
提到分布式事务大家首先想到的肯定是jta， ...