`
flylynne
  • 浏览: 362067 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论
文章列表
  CDH hive元数据 DBS TBLS COLUMNS_V2视图关系 SELECT T.DB_ID,T.NAME,T1.TBL_NAME,T1.TBL_TYPE,T3.COLUMN_NAME,T3.TYPE_NAME,T3.COMMENT,T3.INTEGER_IDX FROM DBS T,TBLS T1,SDS T2,COLUMNS_V2 T3 WHERE T.DB_ID=T1.DB_ID AND T.OWNER_NAME =T1.OWNER AND T1.SD_ID=T2.SD_ID AND T2.CD_ID=T3.CD_ID AND T.NAME IN('idw', ...
package org.osjava.sj.loader.util; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; public class CustomProperties extends AbstractProperties { public synchronized void load(InputStream in) throws IOExcept ...
linux 7.6 redhat ,Kettle8.3调Shell报Error=7, Argument list too long.此问题耗时我两天,灵机一动才解决 即使调简单的shell只输入字符依然报这个问题。 分析步骤: 1、调整只输入简单字符,依然报此问题 2、查看env,和其他系统比较都正常,其实和这个无关,getconf ARG_MAX显示是2097152和其他系统一样 3、最终原因是data-integration/lib中的hadoop*,hbase*,hive*,spark*的jia包过多造成的   解决方案可以将hadoop-* hbase-*的jar迁移到 ...
import yfinance as yf import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns sns.set(font='SimHei',rc={'figure.figsize':(15,9)}) tickers = { '000001.SS': '上证综指', '600519.SS': '贵州茅台', '518880.SS': '黄金ETF' } data = yf.download(list(tickers ...
#!/bin/bash function changeName(){ #new=`echo $1|sed 's/^/abc/g'` new=`echo $1| sed 's/.boop//g'` echo $1 echo $new mv $1 $new } function travFolder(){ #echo "travFolder" flist=`ls $1` cd $1 #echo $flist for f in $flist do if test -d $f the ...

SQL 语句大全

一、基础 1、说明:创建数据库CREATE DATABASE database-name 2、说明:删除数据库drop database dbname 3、说明:备份sql server--- 创建 备份数据的 deviceUSE masterEXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat'

kafka技术题

1.Kafka 的设计时什么样的呢? Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群,集群向消费者提供消息 2.数据传输的事物定义有哪三种? 数据传输的事务定义通常有以下三种级别: (1)最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输
  mysqld程序:语言设置 character-sets-server = name 新数据库或数据表的默认字符集。为了与MySQL的早期版本保持兼容,这个字符集也可以用–default-character-set选项给出;但这个选项已经显得有点过时了。 collation-server = name 新数据库或数据表的默认排序方式。 lanuage = name 用指定的语言显示出错信息。   mysqld程序:通信、网络、信息安全 enable-named-pipes 允许 ...
一、Redis介绍 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统。和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string、list、set、zset和hash。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作。在此基础上,Redis支持各种不同方式的排序。和Memcache一样,Redis数据都是缓存在计算机内存中,不同的是,Memcache只能将数据缓存到内存中,无法自动定期写入硬盘,这就表示,一断电或重启,内存清空,数据丢失。所以Memcache的应用 ...
Centos7 安装 Kettle8.1,包括安装依赖包 必要的工作: 官网下载最新版本的kettle,目前最新版本是8.1 一、安装JDK1.8,我的路径是/usr/local/java下 配置Java环境变量 [root@master]# vim /etc/profile export JAVA_HOME=/usr/local/java/jdk export JAVA_BIN=/usr/local/java/jdk/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export ...
版本5.7 1、下载文件 -rw-rw-r--. 1 wls81 wls81  25402568 Mar 25 14:30 mysql-community-client-5.7.25-1.el7.x86_64.rpm-rw-rw-r--. 1 wls81 wls81    280904 Mar 25 14:29 mysql-community-common-5.7.25-1.el7.x86_64.rpm-rw-rw-r--. 1 wls81 wls81   2271668 Mar 25 14:36 mysql-community-libs-5.7.25-1.el7.x86_64.rpm-r ...
小规模应用最低建议配置 处理器: 2Ghz 四核 内存:6GB 最小数据库空间:10GB 硬件规格调查结果下面表格是Atlassian 2007年7月完成的用户硬件使用情况调查结果,可以作为服务器配置的参考 金融行业               26 - 50 3-6 个月 Microsoft SQL Server Confluence distribution/Apache Tomcat 2 2G Windows 一 ...
HIVE Hive是构建在Hadoop上的数据仓库软件框架,支持使用SQL来读,写和管理大规模数据集合。 Hive的服务端组件 1. Driver组件:该组件包括:Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker或者是Hadoop2中的
分布式系统唯一ID   在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。   如在金融、电商、支付、等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自 ...
厂商 产品类型 产品名称 对标 单价(USD) 单位 地区 数量 预估总价(USD/年) AWS 虚拟服务器 Amazon EC2 服务器 212 月 东南亚(新加坡) 5 12720 AWS 存储 Amazon Simple Storage Services (S3) EBS(快存储) 磁盘 0.005 Gb/月 东南亚
Global site tag (gtag.js) - Google Analytics