博客首页 → 数据处理

最新文章列表

归并算法在大文件处理中的使用

本文描述了一下归并算法在大文件处理中的使用. 应用场景: 1.单个文件,大小>机器内存,对文件数据进行排序(顺序,小->大) 2.单个文件,大小>机器内存,对文件数据进行去重 简单描述一下大文件排序的思路 1.文件拆分 2.拆分后的小文件分别排序,为之后的归并排序做准备 3.归并排序,这里是核心.首先,因为小文件已经排好序了,那么接下来要做的就是将有序的小文件进行 ...
归并大文件数据处理排序去重 
跑轮里的冠军 评论(0) 有1828人浏览 2014-07-25 10:13

大数据, 数据量大就牛逼么?

刚看了这篇博客 http://coolshell.cn/articles/10192.html   看完后, 觉得很有体会, 关于结论部分, 也补充一下自己的感受   综上所述，下面是我觉得数据挖掘或机器学习最重要的东西：   1）数据的质量。分为数据的标准和数据的准确。数据中的杂音要尽量地排除掉。为了数据的质量，大量人肉的工作少不了。 jimmee注:  是的, 不管数据量多大, ...
数据处理数据挖掘体会 
jimmee 评论(0) 有769人浏览 2014-07-24 21:01

3位有效数字

/** * 实现3位有效数字 * @param data * @return */ public String YXSZ(String data){ String rlt=data; double oriData=0; try { oriData=Double.valueOf(data); } catch(Exception e) { ...
java数据处理 
弦上的福音 评论(0) 有1570人浏览 2014-05-19 10:23

基于Java的ProtocolBuffer

这篇博客既是帮助一些初学者深入理解protocolBuffer，也是为了方便自己记忆和进一步学习。本文主要介绍了三个方面，包括: · 在一个.proto文件里面如何定义消息格式 · 如何使用protocol buffer的编译器 · 如何使用java protocol buffer的API来读写消息
javaprtocol buffer序列化数据处理
cq520 评论(0) 有12018人浏览 2014-03-03 23:00

BI项目中的ETL设计详解（数据抽取、清洗与转换 ）

ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以做一 ...
ETL数据处理数据转换 
ireports 评论(0) 有1064人浏览 2013-12-25 17:49

规则引擎在数据分析中的应用

  前言：规则引擎通过将业务规则和开发者的技术决策分离, 实现了动态管理和修改业务规则而又不影响软件系统的需求。以下通过实例对基于SQL 查询、自定义规则等一系列场景来说明规则引擎在数据分析中的应用。            在现代的企业级项目开发中, 商业决策逻辑或业务规则往往是硬编码嵌入在系统各处代码中的。但是外部市场业务规则是随时可能发生变化的, 这样开发人员必须时刻准备修改、更新系统 ...
规则引擎数据分析数据处理数据转换 
NIIT_zhu 评论(0) 有801人浏览 2013-05-22 17:15

数据处理入门—自定义Hash结构（超详细！！！）

                      数据处理入门—自定义Hash结构（超详细！！！）   在蓝杰学JAVA有一段时间了，对于前端时间的学习，我不能全盘否定。但是我真的觉得没学到多少知识。对于那种搭积木式的学习产生厌倦了。我想也许一段过渡过程吧，以后的学习应该迈向一个新的台阶！算法和数据结构是软件工程中的核心，这才是精华所在，这也是我目前最薄弱，最有待加强学习的地方。做为IT工程师，必须要有超 ...
数据结构Hash递归搜索数据处理 
ziyouxiaoxiong 评论(0) 有1474人浏览 2012-03-10 10:34

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics