2014年总结

今天是2014年最后一天，年三十，做个总结，总结一下2014年做过的事。

1.数据仓库计算平台升级
a.将数据表格式改为LZO压缩模式，历史数据压缩，数据压缩比为30%，节省了大量的存储空间
b.Hive整体升级至0.11版本
c.数据仓库服务器集群升级，增加几十台服务器
d.实时计算平台做了一些研究，包括Spark/Shark,Impala,Presto，不过都还在测试环境，要上生产环境，还需要一些时间
程序员要时刻保持钻研的精神

2.数据仓库自动化建模
根据建模文件，a.自动新增数据抽取，数据仓库自动建hive表，数据仓库导入任务；b.数据集市自动建表，数据集市任务。节省了人力，减少了重复工作
程序员要学会偷懒

3.服务器精简,EMC存储下架一套,通过系统整合，服务器下架几十台，节省了IDC费用
只会做加法，不会做减法，不是一个好程序员

4.实时数据服务
a. 实时统计框架体系搭建完成，基于Flume,Kafka,storm,ElasticSearch架构；
b. 提供syslog，http,tcp方式数据，
c. 也基于数据库开发了实时数据抓取系统(Sqlserver, Mysql)，并提供实时数据服务
互联网实时是王道


5.原有系统优化
对原有的调度系统，数据仓库管理系统，监控系统做了一些新功能和bug修复
老的系统要时常注入新血，才能保持活力

6.新的分布式搜索服务系统
基于ES分布式搜索系统得到了广泛应用，单表甚至到了1t～2t，为了更加方便使用，还开发了灵活方便的配置管理系统
好的利器，事半功倍啊，项目组经常说原来需要几十分钟做的查询，现在立等得结果，心理也美滋滋的，得到了承认。

其他还有一些零碎的小系统，也不多说了。祝自己在新的一年工作顺利，事事顺心。
也祝各位奋斗在第一线的程序员们来年顺顺利利，开开信息。