刚才看到同事的签名:没有妞泡的情人节,调戏代码吧!我只能:写篇日志转移注意力吧,其实对我影响最大的是:酒店房价涨的厉害,差点露宿街头了。
为什么我每天都有忙不完的事情呢?
从我实习时就到这个项目组,但现在项目还没有做完,年前拿到的竣工报告只有70%!!而现在又有忙不完的工作安排。为什么呢?
虽然我们模型已经建好了,系统也每天在运行,每天的交易数据都按时采集过来,并装载到数据仓库中了。正常来说应该很快转入运维了,而不是开发调试。
但是虽然数据仓库中有这么多企业的宝贵数据信息,但客户不知道这些数据的准确度,尤其当这些数据装载如程序,采用核算客户资金,客户持仓市值,时一旦出现小小失误,他们开始怀疑数据仓库里的数据质量了。接着提出针对每个环节的数据校验核对,工作就来了(赶紧写核对脚本)。
事实上我们数据质量做得不够好。尤其对一个复杂的系统,应用系统。比如oracle,它能够让人知道它每一步做了什么。而我们还做不到,
E:有没有在指定的时间抽取到符合要求的数据
T:有没有在指定的时间内完成数据清洗,确定的清洗规则合理吗?
L:能不能在指定的时间内完成数据装载,如何保证完整装载呢?(曾经遇到数据部分丢失的情况,折腾了一个月!)
觉得项目里实时数据处理也是我们非常蹩脚的方面。因为实时,频率高,性能问题就来了,数据质量管理难度就增加了。需要实时处理的数据如果有流水号,时间戳,由于需求,设计特殊,这部分数据竟然还有大文本字段。我们是怎么处理的?不说了,反正不是最佳实践!
希望我们用上 information analyzer后能把数据质量管理好。
以后重点学习性能优化方面的。
分享到:
相关推荐
关于项目经理-产品经理-需求-团队的杂感.doc
五年单片机学习之旅杂感081229--edward
飞防植保服务杂感.docx
从php这种弱类型的语言转到java,每次看到这种声明,一下子转不过弯来,总感觉很违和,近思考了一下,有了点感悟 FileInputStream fileInputStream = new FileInputStream("C;\java\test.txt");...
英才是怎样造就的读后杂感.doc
版面语言就是编辑通过版面说的“话”,表达的意思。当然,这些“话”是不会发声的,只有通过一些特殊的方式、方法向读者传达出来。通过什么?字体、字号、线条、色彩、空间、布局、留白等等。 新闻讲究用事实说话...
杂感于多样(XX年全国高考优秀作文).doc
关于GP,可以说我是对它有很复杂的感情的,其实GP这种东西最好是建立在无类型语言上面,就C++0X目前对GP的支持的趋势来看,确实如此,auto/varadictemplates这些特性的加入象征着C++GP的形式正越来越转向一种更纯粹...
中国企业ERP项目实施的误区杂感(DOC 6)_CRM产品经理 需求规格说明书管理系统规格需求说明书模板.doc
测试杂感:BugBash.缺陷大扫除(BugBash)是一项短期的全员测试活动。在微软,许多开发团队会在里程碑(milestone)的末期执行缺陷大扫除。程序员、测试员、程序经理、内部用户、市场人员在1~3天的时间窗口中,运用各自...
今年5月,参加了林锐博士和华章图书组织的免费讲座“如何管理软件企业”。林锐博士身兼多职,是公司负责人也是企业咨询师,见多识广又经验丰富,所言精要皆切中要害。在谈到企业学习时,他提到除了学习先进企业和...
井下杂散电流是引起煤矿井下瓦斯、煤尘爆炸的主要原因之一,分析了煤矿井下杂散电流存在的原因,根据《井下牵引网络杂散电流防治技术规范》的规定,对澄合矿业公司某煤矿进行实地测量、分析成因,提出了相应的治理措施,...
欢迎交流任何问题,知乎咨询满意率100%,私信交流也可,力所能及的都会回复,有代表性的问题会加进本仓库分享。 杂感随想 面试心得体会、转行相关 ■■■■□□□□□□ 我对校招技术面试的粗浅理解 非科班...
随着云计算和社交网络的快速发展,Windows用户将在多个软件中管理她的网络帐户。不幸的是,虽然这些软件都由微软开发,但是它们彼此孤立,无法提供流畅的用户体验。 随着云计算和社交网络的快速发展,Windows用户...
杂感 算法到底是有用还是没用? 这个问题一直萦绕在我的心里. 根据事实是检验真理的唯一标准来说, 众多的公司都选择算法作为面试重点之一, 这足以说明算法的重要性. 但是直到自己做一些项目中,发现自己敢于去尝试复杂...
寄生电感的论文,非常的有用,很不错偶,希望对你有帮助。
大连理工大学2012土木专业考研心路考研,复试过去已经好久了,一直在忙着一些其他的事情,都没静下心来细细屡一下一年来自己的考研经历。今天通知书送来了,才恍然明白,自己考研了,马上又将回到大工了。...