`
qingwei201314
  • 浏览: 162590 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论
文章列表
一、部署zookeeper集群 1. 准备三台服务器,IP分别为: 192.168.86.130,192.168.86.131,192.168.86.132.2.下载zookeeper压缩包,解压,在conf目录下增加zoo.cfg文件,文件内容可参考zoo_sample.cfg. 具体内容如下: tickTime=2000 dataDir=/usr/local/zookeeper-3.6.2/data clientPort=2181 initLimit=5 syncLimit=2 server.1=192.168.86.130:2888:3888 server.2=192.1 ...
一、新建转换。 “源表”中的数据导入“目标表”。 源表 -> 目标表1.下载kettle安装包,启动kettle.2.新建转换“表输入”,设置数据库链接,查出目标表的最近修改时间: select if(ISNULL(max(ORDERDATE)), '1900-01-01 00:00:00', max(ORDERDATE))  from kevin_t13.新建 “表输入", 设置数据库链接,“从步骤插入数据”选择上一步的结果,查出源表中未修改的记录,SQL如下:select * from kevin_t1 where ORDERDATE > ?4.新建”插入/更 ...
一、通过QJM模式部署Hadoop HA 三台机器:192.168.86.130、192.168.86.131、192.168.86.132 1.部署zookeeper,分别在三台机器上部署zookeeper, 配置文件zoo.cfg内容如下: tickTime=2000 dataDir=/usr/local/zookeeper-3.6.1/data clientPort=2181 initLimit=5 syncLimit=2 server.130=192.168.86.130:2888:3888 server.131=192.168.86.131:2888:3888 ...
package com.kevin.job; import org.springframework.stereotype.Service; import org.springframework.scheduling.annotation.Scheduled; import java.sql.*; @Service public class HiveJob { private static int i = 1; @Scheduled(fixedDelay = 1000) public void partit ...

Java操作HDFS

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; import java.io.IOException; import java.net.UR ...
在pom.xml文件中增加以下内容,将工程打成jar包,执行jar包命令: java -jar xxx.jar <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache. ...
1. 启动HDFS: cd /usr/local/hadoop-2.7.7/sbin ./start-dfs.sh 2.启动Yarn:cd cd /usr/local/hadoop-2.7.7/sbin ./start-yarn.sh 3.启动Spark:/usr/local/spark-2.3.3-bin-hadoop2.7/sbin ./start-master.sh -h 192.168.96.12 ./start-slave.sh spark://192.168.96.128:7077 4.创建Sqoop导入任务: ./sqoop-job \ --meta-con ...
sharding-proxy 在windows的部署过程:1. 下载zookeeper-3.4.6,配置conf/zoo.cfg文件,主要修改数据存储路径:tickTime=2000initLimit=10syncLimit=5dataDir=D:\zookeeper-3.4.6\data clientPort=21812. 启动zookeeper. 直接点击bin/zkServer.cmd 文件。3. 解压sharding-proxy-3.0 ...
部署两台keepalived, master和backup, 两台realserver, 一台sorry_server. 操作系统为centos6.8 ip:    master: 192.168.254.129         back:     192.168.254.131         real_server: 192.168.254.128         real_server: 192.168.254.130         sorry_server: 192.168.254.132 1.安装master的keepalived    1.1.下载keepaliv ...
mybatis公用增删改查CRUD 1.具体mapper package com.kevin.mapper;import org.apache.ibatis.annotations.Mapper;import com.kevin.dto.AllType;import com.kevin.mapper.common.CommonMapper;@Mapperpublic interface AllTypeMapper extends CommonMapper<AllType> {} 2.公用mapper: package com.kevin.mapper.common;impo ...
大学没用心读书,八皇后问题令我望而生畏,这几天零零散散将其写完,并调试完成,感觉不难。当补交大学时的作业。总共92个解,12个解是独立的。 package com.kevin.queen;public class EightQueen {    static int[][] queens = new int[8][8];   ...
用jpa操作数据库,有时由于并发及一级缓存的问题,导致取到的对象不是最新的,解决办法如下: 1.在service中注入这个对象: @Autowired private EntityManager entityManager; 2.将取到的对象,执行以下操作,对象名为:detail entityManager.refresh(detail);
两个系统间如果存在互相调用, 便存在报文传输,通常情况下,需要对报文进行签名,加密,再进行传输,才能保证传输信息不显示明文, 保证信息不被篡改。一般使用以下步骤: 1.将要传送的报文进行签名,把签名内容放在报文的某一个字段中; 2.将1中的内容进行对称加密,密钥需两个系统共同商定; 3.将2中的内容进行传输。 对方系统收到报文后,执行以下步骤: 1.将报文用协商好的密钥进行解密; 2.将解密后的内容进行验签; 3.如果签名通过,处理业务逻辑。
repayOrderNo != null && repayOrderNo !='' && repayOrderNo != undefined
调试mysql存储过程 debugger for mysql
Global site tag (gtag.js) - Google Analytics