`
文章列表

数据迁移相关（关系型数据库mysql，oracle和nosql数据库如hbase）

HBase数据迁移（1） http://www.importnew.com/3226.html HBase数据迁移（2）- 使用bulk load 工具从TSV文件中导入数据 http://www.importnew.com/3645.html HBase数据迁移（3）-自己编写MapReduce Job导入数据 http://www.importnew.com/3912.html 提升HBase数据库写入性能 http://database.51cto.com/art/201303/387122.htm Mysql到HBase数据迁移Sqoop工具方法 http://www.it165. ...

zookeeper适用场景：如何竞选Master及代码实现

zookeeper适用场景：如何竞选Master及代码实现 http://www.aboutyun.com/thread-9277-1-1.html 【zookeeper源代码分析系列】Zookeeper的Leader选举 http://www.douban.com/note/227624842/?type=like 【选举算法】 QuorumPeer.startLeaderElection 先获取选举算法配置electionType  -> config.getElectionAlg() -> electionAlg QuorumPeer.createElectionAlg ...

MR/hive 数据去重

海量数据去重的五大策略 http://www.ciotimes.com/bi/sjck/77064.html 【每日N题】由海量数据去重所想到的，面试思维惯式 http://blog.csdn.net/sunxinhere/article/details/8011144

bd问题汇总

1.一致性hash memcache的一致性hash算法使用 http://blog.csdn.net/kongqz/article/details/6695417 基于Redis分布式缓存实现 http://www.linuxidc.com/Linux/2012-11/74363.htm 2.bloom filter http://www.cnblogs.com/haippy/archive/2012/07/13/2590351.html 3.sql优化 http://www.jb51.net/article/24392.htm 4.jvm垃圾回收原理级ABA问题 http://blog ...

创建数据仓库相关

数据仓库系列 http://blog.csdn.net/kingzone_2008/article/category/1272612 数据仓库中维度建模 http://blog.csdn.net/athenaer/article/details/7885662 数据仓库构建步骤 http://www.douban.com/note/233806228/ http://www.csdn.net/tag/数据仓库 使用 Hive 构建数据仓库 http://www.ibm.com/developerworks/cn/data/library/bd-hivewarehouse/ http:/ ...

hive牛逼（2）hive数据的导入、导出方式

1.Hive几种数据导入方式 http://www.iteblog.com/archives/949 2.Hive几种数据导出方式 http://www.iteblog.com/archives/955

shell：搜索目录中的txt文件，并修改文件内容

方法一 find ./ -name "*.txt" | while read f; do sed -i '1i welcome to eclipseeye 23333333'; done 方法二 find ./ -name "*.txt" | xargs sed -i '1i welcome to eciipseeye 23333' 方法三 find ./ -name "*.txt" -exec sed -i '1i welcom to eciipseeye 23333' {} \

Linux xargs命令

Linux xargs命令 xargs是给命令传递参数的一个过滤器，也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块，以方便过滤器和命令进行处理。通常情况下，xargs从管道或者stdin中读取数据，但是它也能够从文件的输出中读取数据。xargs的默认命令是echo，这意味着通过管道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行和空白将被空格取代。 xargs 是一个强有力的命令，它能够捕获一个命令的输出，然后传递给另外一个命令，下面是一些如何有效使用xargs 的实用例子。 1. 当你尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/ ...

shell中grep命令详解

===================================== grep查找文件中的关键词 -- r表示递归，n表示显示行号 include表示只找php，hello,world是查找内容，mydir是查找目录 grep -nr --include="*.php"  "hello,world" /mydir/ -- 只显示文件清单，不显示行数，和匹配内容 grep -lr --include="*.php"  "hello,world" /mydir/ ==================== ...

linux下使用tar命令

linux下使用tar命令 解压 语法：tar [主选项+辅选项] 文件或者目录 使用该命令时，主选项是必须要有的，它告诉tar要做什么事情，辅选项是辅助使用的，可以选用。 主选项： c 创建新的档案文件。如果用户想备份一个目录或是一些文件，就要选择这个选项。相当于打包。 x 从档案文件中释放文件。相当于拆包。 t 列出档案文件的内容，查看已经备份了哪些文件。 特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。 辅助选项： -z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩或解压？ 一般格式为xx.tar.gz或x ...

Hadoop MapReduce优化相关

[大牛翻译系列]Hadoop 翻译文章索引 http://www.cnblogs.com/datacloud/p/3604492.html mapreduce合并小文件成sequencefile http://shiyanjun.cn/archives/291.htmlhttp://blog.csdn.net/xiao_jun_0820/article/details/42747537 http://www.cnblogs.com/dandingyy/archive/2013/03/08/2950720.html HDFS小文件问题及解决方案 http://dongxicheng.org/ ...

数据倾斜问题 牛逼（1）数据倾斜之MapReduce&hive

数据倾斜总结 http://www.alidata.org/archives/2109 浅析 Hadoop 中的数据倾斜 http://my.oschina.net/leejun2005/blog/100922 http://blog.csdn.net/longshenlmj/article/details/17304437 [大牛翻译系列]Hadoop（14）MapReduce 性能调优：减小数据倾斜的性能损失 http://www.cnblogs.com/datacloud/p/3601624.html?utm_source=tuicool hive优化方式和使用技巧 http://b ...

使用shell并发上传文件到hdfs

使用shell并发上传文件到hdfs http://mos1989.blog.51cto.com/4226977/1589807?utm_source=tuicool hdfs日志上传脚本(三) http://www.verydemo.com/demo_c353_i4063.html 海量Web日志分析 用Hadoop提取KPI统计指标 http://blog.fens.me/hadoop-mapreduce-log-kpi/ 每天一个linux命令（60）：scp命令 http://www.cnblogs.com/peida/archive/2013/03/15/2960802.htm ...

Flume 牛逼（1）flume资料备忘

Flume NG 简介及配置实战 http://my.oschina.net/leejun2005/blog/288136?utm_source=tuicool Flume(NG)架构设计要点及配置实践 http://shiyanjun.cn/archives/915.html 分布式日志收集系统Apache Flume的设计详细介绍 http://www.aboutyun.com/thread-7848-1-1.html 牛逼人博客 http://my.oschina.net/leejun2005/blog Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集【Upda ...

hive牛逼（1）hive一览 备忘

1. 基本数据类型 tinyint , smallint, int, bigint, float, double, boolean: true/false, string 2. 基础运算符与函数 A IS NULL         空 A IS NOT NULL     非空    A LIKE B     模糊匹配 A RLIKE B     正则表达式匹配 A REGEXP B  正则表达式匹配 3. 类型转换 cast(expr as <type>) 例如： cast('1' as BIGINT)  将字符串'1'转化成bigint型 4. 日期函数 返回值类型 ...
Global site tag (gtag.js) - Google Analytics