商人shang
- 浏览: 1474084 次
- 性别:
- 来自: 河北邯郸
-
最新评论
-
天台没有爱情：
基于Flink流处理的动态实时电商实时分析系统网盘地址：htt ...
Flink 应用 -
zzz2726：
147-150行：执行出错了引用public User que ...
Spring中jdbcTemplate的用法实例（一） -
18942512863：
Catch you
搞爆storm集群的bug追踪过程 -
商人shang：
u010719892 写道老乡 ，邱县d老相好
Intellij IDEA如何使用Maven Tomcat Plugin运行web项目 -
u010719892：
老乡 ，邱县d
Intellij IDEA如何使用Maven Tomcat Plugin运行web项目
文章列表
啊~时光荏苒，岁月如梭。
不知觉中本科已经毕业了将近两年半了。这两年间从超天才到京东，经历了从小公司到大公司的转变，无论在哪，都有自己独特的经历和感受，然而不变的是，每一天自己都在成长 ...
集群规划
独立的master节点，不存储数据, 数量不少于2
数据节点(Data Node)
查询节点(Query Node)，起到负载均衡的作用
Linux系统参数配置
文件句柄
Linux中，每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说，显然太小，通过修改/etc/security/limits.conf来增大打开最大句柄数
一、doc_values介绍
doc values是一个我们再三重复的重要话题了，你是否意识到一些东西呢？
搜索时，我们需要一个“词”到“文档”列表的映射
排序时，我们需要一个“文档”到“词“列表的映射，换句话说，我们需要一个在 ...
Linux查找文件内容的常用命令方法。
从文件内容查找匹配指定字符串的行：
$ grep "被查找的字符串" 文件名例子：在当前目录里第一级文件夹中寻找包含指定字符串的.in文件grep "thermcontact" */*.in从文件内容查找与正则表达式匹配的行：$ grep –e “正则表达式” 文件名查找时不区分大小写：$ grep –i "被查找的字符串" 文件名
出现以下错误的主要原因就是filter 语句的逻辑有问题，可以看看by关键词后面的部分。
ERROR 1200: Pig script failed to parse: NoViableAltException(84@[])
org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1000: Error during parsing. Pig script failed to parse: NoViableAltException(84@[])
at org.apache.pig.PigServer$Graph.pars ...
############################# System #############################
#唯一标识在集群中的ID，要求是正数。
broker
作业提交到的队列：mapreduce.job.queuename
作业优先级：mapreduce.job.priority
Pig版本：
SET mapreduce.job.queuename root.etl.distcp;
SET mapreduce.job.priority HIGH;
Hive版本：
SET mapreduce.job.queuename=root.etl.distcp;
SET mapreduce.job.priority=HIGH;
MONITOR
用来实时查看redis正在执行的命令，进行调试
SLOWLOG
用来分析慢操作的日志
前两天，突然收到了QA的反馈，我跑程序的storm集群（20多台）所有机器CPU居高不下。这就让我非常莫名其妙了，我的程序在最近一次上线以后，已经连续运行了3天了，怎么会突然就有问题了呢？
这时，我还是感觉程序不会有问题的，要不然怎么会正常运行了3天呢。。。因此我就对程序进行rebalance（为什么要这么做呢？我也不知道，就好像电脑有问题了重启就行了。。。）以及重启操作，但是都无济于事，程序在跑一会以后，就出现了CPU利用率很高的情况。
我找QA老大亮哥说明了程序跑了3天，程序应该没有问题，应该是环境的问题，但是他却告诉我，应该是有死循环导致的这种情况，而我却对他的说法抱怀 ...
1. 删除分区
alter table user_info drop partition(dt='2016-03-15');
show create table app.app_uuid_pin_mapping;
点击率 CTR=（点击量/展现量）*100%平均点击价格 CPC=消费/点击量千次展现消费 CPM=（消费/展现量）*1000=CPC*CTR*1000
转化率 CVR=（转化量/点击量）*100%平均转化成本 CPA=消费/转化量=CPC/CVR投资回报率 ROI=（收益-消费）/消费*100%=（利润/消费）*100%综合排名指数 CRI=质量度*出价
DSP：DSP(全称：Demand-Side Platform)需求方平台是为广告主、代理公司提供的一个综合性管理平台，通过同一个界面管理多个数字广告和数据交换的账户。利用DSP，广告主可以在广告交易平台(Ad Exchange ...
1. bolt spout数量
2. time_out 时间
3. max_pending
4. ack 机制
春节来了，春运也来了，对于咱们大部分的人来说，作为屌丝，回家的工具只能够是火车了。对于这个时期，真是一票难求，幸好现在有了12306，很多人不用去火车站穿着军大衣，半夜去排队了。
按理来说，应该感激这样的一个系统，这是互联网对生活的改变，为生活带来的便利。可是，这个互联网的孩子的成长并没有那么顺利，自出生以来，就备受各种吐槽---要么服务忙买不到票、要么就是卡死了，由于12306说是各种刷票工具带来的问题，则出现了一时间广为流传的图片验证码，一时间各种神验证码在我大网络上疯传，说的是防刷票软件，可是实际上你是在防人吧。
而今天，我要说的则是登录问题，还有一个让人哭笑不得的bu ...
最近一段时间，再做一个用pig写的基于曝光数据的为大广告主提供一些搞搞效果数据的项目，最近苦逼的加班了好久，周末加过班、晚上加班、回家以后跑数据还得加班，总之是我大学毕业一年半以来最苦逼的日子。
本来 ...
fg、bg、jobs、&、nohup、ctrl + z命令
一、&
加在一个命令的最后，可以把这个命令放到后台执行,如gftp &,
二、ctrl + z
可以将一个正在前台执行的命令放到后台，并且处于暂停状态，不可执行
三、jobs
查看当前有多少在 ...