- 浏览: 716817 次
- 性别:
- 来自: 北京
最新评论
-
wxweven:
Surmounting 写道既然 Java 的跳表那么少,我决 ...
SkipList 跳表 -
暮雪云然:
写的不错,很透彻
Java静态内部类 -
bzhao:
好,赞扬!
Linux信号详解 -
jacktao219:
赞一个~! ,现在正在看redis 所以接触到跳表
SkipList 跳表 -
is_leon:
vote--后还要判断是否为0吧,如果为0则废掉重新置位can ...
现在有一个整数数组,已知一个数出现的次数超过了一半,请用O(n)的复杂度的算法找出这个数
一 外部排序的基本思路
假设有一个72KB的文件,其中存储了18K个整数,磁盘中物理块的大小为4KB,将文件分成18组,每组刚好4KB。
首先通过18次内部排序,把18组数据排好序,得到初始的18个归并段R1~R18,每个归并段有1024个整数。
然后对这18个归并段使用4路平衡归并排序:
第1次归并:产生5个归并段
R11 R12 R13 R14 R15
其中
R11是由{R1,R2,R3,R4}中的数据合并而来
R12是由{R5,R6,R7,R8}中的数据合并而来
R13是由{R9,R10,R11,R12}中的数据合并而来
R14是由{R13,R14,R15,R16}中的数据合并而来
R15是由{R17,R18}中的数据合并而来
把这5个归并段的数据写入5个文件:
foo_1.dat foo_2.dat foo_3.dat foo_4.dat foo_5.dat
第2次归并:从第1次归并产生的5个文件中读取数据,合并,产生2个归并段
R21 R22
其中R21是由{R11,R12,R13,R14}中的数据合并而来
其中R22是由{R15}中的数据合并而来
把这2个归并段写入2个文件
bar_1.dat bar_2.dat
第3次归并:从第2次归并产生的2个文件中读取数据,合并,产生1个归并段
R31
R31是由{R21,R22}中的数据合并而来
把这个文件写入1个文件
foo_1.dat
此即为最终排序好的文件。
二 使用败者树加快合并排序
外部排序最耗时间的操作时磁盘读写,对于有m个初始归并段,k路平衡的归并排序,磁盘读写次数为
|logkm|,可见增大k的值可以减少磁盘读写的次数,但增大k的值也会带来负面效应,即进行k路合并
的时候会增加算法复杂度,来看一个例子。
把n个整数分成k组,每组整数都已排序好,现在要把k组数据合并成1组排好序的整数,求算法复杂度
u1: xxxxxxxx
u2: xxxxxxxx
u3: xxxxxxxx
.......
uk: xxxxxxxx
算法的步骤是:每次从k个组中的首元素中选一个最小的数,加入到新组,这样每次都要比较k-1次,故
算法复杂度为O((n-1)*(k-1)),而如果使用败者树,可以在O(logk)的复杂度下得到最小的数,算法复杂
度将为O((n-1)*logk), 对于外部排序这种数据量超大的排序来说,这是一个不小的提高。
关于败者树的创建和调整,可以参考清华大学《数据结构-C语言版》
三 产生二进制测试数据
打开Linux终端,输入命令
dd if=/dev/urandom of=random.dat bs=1M count=512
这样在当前目录下产生一个512M大的二进制文件,文件内的数据是随机的,读取文件,每4个字节
看成1个整数,相当于得到128M个随机整数。
四 程序实现
#include <assert.h> #include <fcntl.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/time.h> #include <sys/types.h> #include <sys/stat.h> #define MAX_INT ~(1<<31) #define MIN_INT 1<<31 //#define DEBUG #ifdef DEBUG #define debug(...) debug( __VA_ARGS__) #else #define debug(...) #endif #define MAX_WAYS 100 typedef struct run_t { int *buf; /* 输入缓冲区 */ int length; /* 缓冲区当前有多少个数 */ int offset; /* 缓冲区读到了文件的哪个位置 */ int idx; /* 缓冲区的指针 */ } run_t; static unsigned int K; /* K路合并 */ static unsigned int BUF_PAGES; /* 缓冲区有多少个page */ static unsigned int PAGE_SIZE; /* page的大小 */ static unsigned int BUF_SIZE; /* 缓冲区的大小, BUF_SIZE = BUF_PAGES*PAGE_SIZE */ static int *buffer; /* 输出缓冲区 */ static char input_prefix[] = "foo_"; static char output_prefix[] = "bar_"; static int ls[MAX_WAYS]; /* loser tree */ void swap(int *p, int *q); int partition(int *a, int s, int t); void quick_sort(int *a, int s, int t); void adjust(run_t ** runs, int n, int s); void create_loser_tree(run_t **runs, int n); long get_time_usecs(); void k_merge(run_t** runs, char* input_prefix, int num_runs, int base, int n_merge); void usage(); int main(int argc, char **argv) { char filename[100]; unsigned int data_size; unsigned int num_runs; /* 这轮迭代时有多少个归并段 */ unsigned int num_merges; /* 这轮迭代后产生多少个归并段 num_merges = num_runs/K */ unsigned int run_length; /* 归并段的长度,指数级增长 */ unsigned int num_runs_in_merge; /* 一般每个merge由K个runs合并而来,但最后一个merge可能少于K个runs */ int fd, rv, i, j, bytes; struct stat sbuf; if (argc != 3) { usage(); return 0; } long start_usecs = get_time_usecs(); strcpy(filename, argv[1]); fd = open(filename, O_RDONLY); if (fd < 0) { printf("can't open file %s\n", filename); exit(0); } rv = fstat(fd, &sbuf); data_size = sbuf.st_size; K = atoi(argv[2]); PAGE_SIZE = 4096; /* page = 4KB */ BUF_PAGES = 32; BUF_SIZE = PAGE_SIZE*BUF_PAGES; num_runs = data_size / PAGE_SIZE; /* 初始时的归并段数量,每个归并段有4096 byte, 即1024个整数 */ buffer = (int *)malloc(BUF_SIZE); run_length = 1; run_t **runs = (run_t **)malloc(sizeof(run_t *)*(K+1)); for (i = 0; i < K; i++) { runs[i] = (run_t *)malloc(sizeof(run_t)); runs[i]->buf = (int *)calloc(1, BUF_SIZE+4); } while (num_runs > 1) { num_merges = num_runs / K; int left_runs = num_runs % K; if(left_runs > 0) num_merges++; for (i = 0; i < num_merges; i++) { num_runs_in_merge = K; if ((i+1) == num_merges && left_runs > 0) { num_runs_in_merge = left_runs; } int base = 0; printf("Merge %d of %d,%d ways\n", i, num_merges, num_runs_in_merge); for (j = 0; j < num_runs_in_merge; j++) { if (run_length == 1) { base = 1; bytes = read(fd, runs[j]->buf, PAGE_SIZE); runs[j]->length = bytes/sizeof(int); quick_sort(runs[j]->buf, 0, runs[j]->length-1); } else { snprintf(filename, 20, "%s%d.dat", input_prefix, i*K+j); int infd = open(filename, O_RDONLY); bytes = read(infd, runs[j]->buf, BUF_SIZE); runs[j]->length = bytes/sizeof(int); close(infd); } runs[j]->idx = 0; runs[j]->offset = bytes; } k_merge(runs, input_prefix, num_runs_in_merge, base, i); } strcpy(filename, output_prefix); strcpy(output_prefix, input_prefix); strcpy(input_prefix, filename); run_length *= K; num_runs = num_merges; } for (i = 0; i < K; i++) { free(runs[i]->buf); free(runs[i]); } free(runs); free(buffer); close(fd); long end_usecs = get_time_usecs(); double secs = (double)(end_usecs - start_usecs) / (double)1000000; printf("Sorting took %.02f seconds.\n", secs); printf("sorting result saved in %s%d.dat.\n", input_prefix, 0); return 0; } void k_merge(run_t** runs, char* input_prefix, int num_runs, int base, int n_merge) { int bp, bytes, output_fd; int live_runs = num_runs; run_t *mr; char filename[20]; bp = 0; create_loser_tree(runs, num_runs); snprintf(filename, 100, "%s%d.dat", output_prefix, n_merge); output_fd = open(filename, O_CREAT|O_WRONLY|O_TRUNC, S_IRWXU|S_IRWXG); if (output_fd < 0) { printf("create file %s fail\n", filename); exit(0); } while (live_runs > 0) { mr = runs[ls[0]]; buffer[bp++] = mr->buf[mr->idx++]; // 输出缓冲区已满 if (bp*4 == BUF_SIZE) { bytes = write(output_fd, buffer, BUF_SIZE); bp = 0; } // mr的输入缓冲区用完 if (mr->idx == mr->length) { snprintf(filename, 20, "%s%d.dat", input_prefix, ls[0]+n_merge*K); if (base) { mr->buf[mr->idx] = MAX_INT; live_runs--; } else { int fd = open(filename, O_RDONLY); lseek(fd, mr->offset, SEEK_SET); bytes = read(fd, mr->buf, BUF_SIZE); close(fd); if (bytes == 0) { mr->buf[mr->idx] = MAX_INT; live_runs--; } else { mr->length = bytes/sizeof(int); mr->offset += bytes; mr->idx = 0; } } } adjust(runs, num_runs, ls[0]); } bytes = write(output_fd, buffer, bp*4); if (bytes != bp*4) { printf("!!!!!! Write Error !!!!!!!!!\n"); exit(0); } close(output_fd); } long get_time_usecs() { struct timeval time; struct timezone tz; memset(&tz, '\0', sizeof(struct timezone)); gettimeofday(&time, &tz); long usecs = time.tv_sec*1000000 + time.tv_usec; return usecs; } void swap(int *p, int *q) { int tmp; tmp = *p; *p = *q; *q = tmp; } int partition(int *a, int s, int t) { int i, j; /* i用来遍历a[s]...a[t-1], j指向大于x部分的第一个元素 */ for (i = j = s; i < t; i++) { if (a[i] < a[t]) { swap(a+i, a+j); j++; } } swap(a+j, a+t); return j; } void quick_sort(int *a, int s, int t) { int p; if (s < t) { p = partition(a, s, t); quick_sort(a, s, p-1); quick_sort(a, p+1, t); } } void adjust(run_t ** runs, int n, int s) { int t, tmp; t = (s+n)/2; while (t > 0) { if (s == -1) { break; } if (ls[t] == -1 || runs[s]->buf[runs[s]->idx] > runs[ls[t]]->buf[runs[ls[t]]->idx]) { tmp = s; s = ls[t]; ls[t] = tmp; } t >>= 1; } ls[0] = s; } void create_loser_tree(run_t **runs, int n) { int i; for (i = 0; i < n; i++) { ls[i] = -1; } for (i = n-1; i >= 0; i--) { adjust(runs, n, i); } } void usage() { printf("sort <filename> <K-ways>\n"); printf("\tfilename: filename of file to be sorted\n"); printf("\tK-ways: how many ways to merge\n"); exit(1); }
五 编译运行
gcc sort.c -o sort -g
./sort random.dat 64
以64路平衡归并对random.dat内的数据进行外部排序。在I5处理器,4G内存的硬件环境下,实验结果如下
文件大小 耗时
128M 14.72 秒
256M 30.89 秒
512M 71.65 秒
1G 169.18秒
六 读取二进制文件,查看排序结
#include <assert.h> #include <fcntl.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/time.h> #include <sys/types.h> #include <sys/stat.h> int main(int argc, char **argv) { char *filename = argv[1]; int *buffer = (int *)malloc(1<<20); struct stat sbuf; int rv, data_size, i, bytes, fd; fd = open(filename, O_RDONLY); if (fd < 0) { printf("%s not found!\n", filename); exit(0); } rv = fstat(fd, &sbuf); data_size = sbuf.st_size; bytes = read(fd, buffer, data_size); for (i = 0; i < bytes/4; i++) { printf("%d ", buffer[i]); if ((i+1) % 10 == 0) { printf("\n"); } } printf("\n"); close(fd); free(buffer); return 0; }
发表评论
-
Paxos算法
2012-04-18 10:59 2481分布式系统的核心问题是数据一致性,解决一致性有很多算法,而 P ... -
编程之美3.3 计算字符串的相似度
2012-03-13 23:26 33问题描述 定义一套操作方法, 把两个不相同的字符串变得相同, ... -
编程之美3.1 字符串移位包含的问题
2012-03-12 23:26 3258题目 给定两个字符串 s ... -
SkipList 跳表
2011-10-09 01:08 39243为什么选择跳表 目前经常使用的平衡数据结构有:B树,红黑树, ... -
(转)一致性哈希算法及其在分布式系统中的应用
2011-09-29 19:02 2269原文地址: http://www.cnb ... -
算法导论习题 5.1 -2
2011-09-29 09:23 1957描述random(a, b)过程的一种实现,它只调用rando ... -
现在有一个整数数组,已知一个数出现的次数超过了一半,请用O(n)的复杂度的算法找出这个数
2011-05-05 19:43 6162现在有一个整数数组,已知一个数出现的次数超过了一半,请用O(n ... -
从海量数据中找中位数(c语言实现)
2011-05-05 12:49 4984题目:5亿个int,从中找出第k大的数 算法:之后补上 ... -
寻找最大的K个数 (C语言实现)
2011-05-04 16:31 5287题目:100亿个整数,求最大的1万个数,并说出算法的时间复杂度 ... -
kmp算法的理解与实现
2011-04-30 21:29 25411KMP算法曾被我戏称为看毛片算法,当时笑喷...... ... -
实现两个整数的除法,不能用除号和乘号
2011-04-22 15:17 3591对于两个整数a和b, 求a/b,可以从1开始枚举结果resul ... -
最大公共子字符串(Longest Common Substring)
2011-04-22 13:33 3338Longest Common Substring和Longes ... -
poj 1458 最长公共子串(Longest Common Subsequence)
2011-04-22 10:45 2516LCS问题: 给定序列 X = <x1,x2,... ... -
归并排序
2011-04-21 21:51 1134#include <stdio.h> #i ... -
快速排序 顺序统计量 数组分割
2011-04-21 19:28 1327#include <stdio.h> #in ... -
位运算集锦
2011-04-21 17:15 2041文中2'k代表2的k次方 1 除以2的k次幂可以用位运 ... -
最长递增子序列
2011-04-21 14:45 1153设L = <a1,a2,...an>是n个不同的实 ... -
poj 2774 后缀数组
2011-03-21 17:28 1740#include <stdio.h> # ... -
poj 2823 线段树
2011-03-17 18:49 1568赤裸裸的线段树,数据量很大,加了IO优化函数。 #in ... -
poj 3368 RMQ 线段树 离散化
2011-03-17 17:00 2686一 题意:给定递增序列 ...
相关推荐
外排序--基于败者树的多路归并排序算法的java实现
败者树多用于多路归并排序,我就写了个多路归并排序,里面用到了败者树。
原创,外部排序的C++源码,利用败者树16路归并,主要源于字典排序的需要,所以针对的是字符串,可以自定义字符串的最大最小长度,可以自定义归并路数,根据词组的大小,自定义设定内部排序的大小
外部排序指的是大文件的排序,即待排序的记录存储在外存储器上,待排序的文件无法一次装入内存,需要在内存和外部存储器之间进行多次数据交换,以达到排序整个文件的目的。
vc++实现使用败者树实现外排序 vc++实现使用败者树实现外排序
8.1 概述 8.2 插入排序 8.3 交换排序 8.4 选择排序 8.5 归并排序 8.6 基数排序 8.6 外部排序 ...4. 掌握外部排序方法中败者树的建立及归并方法,掌握置换-选择排序的过程和最佳归并树的构造方法。
败者树 读入:第一行读入待归并的数的个数n和修改的次数times 下一行读入n个带归并的数 下times行每行读入败者树每次修改的位置tag和修改后的值change 输出:先输出赢者,然后广度优先输出败者树
数据结构与算法课程的一道作业题,外排序中败者树的实现。
数算一道题的代码=_=存起来备用的,其实非常简单
陕西科技大学学校的排序算法实验,最近小咲写的: 一、实验目的 1. 熟练运用冒泡排序、选择排序、插入排序、希尔排序、快速排序、合并排序、堆排序等七...4. 了解败者树算法,并运用多路归并算法进行外排序(未能实现)
(8)构造最佳归并树进行长度不等的归并段的多路平衡归并 (9)分为:1.磁盘文件排序:直接存取;2.磁带文件排序:顺序存取 (10)主要考虑访问磁盘次数;内部排序时间忽略不计 (11)总时间=内部排序时间+外存读写时间+内部...
一种比普通排序方法有更低时间空间复杂度的算法实现
外部排序-k路归并败者树 外部排序-最佳归并树 二叉树 JZ_07重建二叉树 JZ_26树的子结构 JZ_27二叉树的镜像 JZ_28对称的二叉树 JZ_37序列化二叉树 JZ_32-I从上到下打印二叉树 JZ_32-II从上到下打印二叉树 II...
8.5 二路归并排序 247 8.6 基数排序 248 8.7 外部排序 252 8.7.1 概念与流程 252 8.7.2 置换-选择排序 253 8.7.3 佳归并树 254 8.7.4 败者树 255 8.7.5 时间与空间复杂度相关问题 257 8.8 排序知识点小结 258 ▲真题...
败者的奇迹作文.doc
。①诸葛亮说:善败者不亡。善败者....-诸葛亮擅长揣摩.docx
内排序:avlTree,quickSort,shellSort,binarySearchTree,lru队列,败者树(归并排序)。 外排序:败者树,bPlusTree。 其他:Hash ##项目相关技术连接 ##项目底层与文件系统打交道包括 项目大量的使用了nio中的...
快速排序,插入排序,冒泡排序,选择排序,堆排序,归并排序,基数排序 树:需要了解结构,遍历方式,前中后序遍历 二叉树,红黑树,B树,B+树,Trie 树,胜者树,败者树 图:DFS,BFS,Dijkstra 拓扑排序;并查集;...
⼋、外排序 适⽤范围:⼤数据的排序,去重 基本原理及要点:外排序的归并⽅法,置换选择败者树原理,最优归并树 扩展: 问题实例: 1).有⼀个1G⼤⼩的⼀个⽂件,⾥⾯每⼀⾏是⼀个词,词的⼤⼩不超过16个字节,内存...
2.领域:智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab仿真,更多内容可点击博主头像 3.内容:标题所示,对于介绍可点击主页搜索博客 4.适合人群:本科,硕士...