在统计某些数据的时候，文件中往往存在一些重复的行，那如何去掉这些重复的行呢？
用强大的awk可以轻松实现文件内容行去重。
awk '!a[$0]++' 文件
例如文件 123.txt 的内容是
1
1
2
2
3
3
awk '!a[$0]++' 123.txt
将会输出
1
2
3
=======================
统计重复行
sort i_match_09_20131029.dat | uniq -dc
xingwang.ye
- 浏览: 144987 次
- 性别:
- 来自: 北京
-
文章分类
最新评论
分享到：
发表评论
-
用vim比较文件
2013-09-17 10:07 8031. 使用vim的比较模式 ... -
linux下释放内存的cache
2013-07-31 13:03 860虽然内存cache对文件系统有加速,但是cache太多的文件 ... -
查看linux机器cpu信息
2013-06-27 17:27 513查看几核 cat /proc/cpuinfo | grep ... -
awk常用问题集锦
2012-12-07 15:38 747http://www.cnblogs.com/27681507 ... -
Linux中expr命令
2012-12-05 18:04 761http://blog.csdn.net/guhong5153 ... -
shell里面如何获取字符串长度--判断字符串为空
2012-12-05 18:04 1931#/bin/bashstr=12313; le1=`expr ... -
Linux中date命令
2012-12-05 17:35 3015Linux中date命令用法 1、以下是服务器现在的时 ... -
linux date得到当前时间的毫秒
2012-12-05 16:45 17872echo `expr \`date +%s%N\` / 100 ... -
Linux系统管理员应该知道的20个系统监控工具
2012-11-10 17:43 650http://bbs.chinaunix.net/thread ... -
LINUX SHELL 中 2>&1 重定向的问题
2012-07-31 15:17 976转载http://blog.csdn.net/past ... -
shell 脚本中$$,$#,$?
2012-07-31 14:53 640$0 这个程式的执行名字 $n 这个程式的第n个参数值，n=1 ... -
linux shell getopts
2012-07-19 18:28 4261#getopts ALL=false HELP=false F ... -
linux如何根据进程ID查找启动程序的路径
2012-02-22 09:59 1150http://blog.csdn.net/eijnew/art ... -
awk基础
2011-12-14 14:37 8211、awk 语法分模式和操 ... -
linux rsync同步设置详细指南
2011-08-24 17:43 1202linux rsync同步设置详细指南 配置rsync 同步数 ... -
shell分割字符串
2011-06-16 14:58 1667#!/bin/sh ids="1,2,3,4, ... -
linux scp无密码
2011-06-07 17:14 1525原理： 密匙认证需要依靠密匙，首先创建一对密匙（包括公匙和 ... -
查看Linux操作系统的版本
2011-05-27 10:30 14842.4.26是内核的版本号，内核的版本号是Linus领导下的开 ... -
java调用shell，并得到shell的输出
2011-05-26 15:31 3219import java.io.IOException; ... -
把awk中的数组赋值给shell中的数组
2011-05-26 15:20 11768方法1，通过eval #!/bin/bash ipstr ...
相关推荐
Linux下文本处理工具很丰富很强大，例如这样一个文件： 代码如下:cat log ...1.使用uniq/sort删除重复行注意：单纯uniq是不行的。 代码如下
日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询（查询时间稍长，导出文件内容多），因此想到了使用Linux命令将文件的内容重复数据进行去除。 案例如下： 可以看到aaa...
linux串编程实例源码，实现串口的基本配置和通过配置文件修改串口配置，在工程中稍微修改即可使用，去掉重复工作代码．
8. #UNIQ 去掉重复 8 9. #SORT 排序 8 10. 杀掉某进程 8 11. #SHELL输出TAB和空格 8 12. #PS用法 8 13. #TAIL用法 9 14. #ECHO选项 9 15. #GREP和EGREP过滤组 9 16. LS的特殊用法 9 六、LINUX SHELL其它 9 1. VI使用...
18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述符 196 18.8 使用break和continue控制循环 197 18.8.1 break 197 ...
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，还...18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述...
18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述符 196 18.8 使用break和continue控制循环 197 18.8.1 break 197 ...
18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述符 196 18.8 使用break和continue控制循环 197 18.8.1 break 197 ...
linux shell编程 教程大全 目 录 译者序 前言 第一部分 shell 第1章 文件安全与权限 1 1.1 文件 1 1.2 文件类型 2 1.3 权限 2 1.4 改变权限位 4 1.4.1 符号模式 4 1.4.2 chmod命令举例 5 1.4.3 绝对模式 5 1.4.4 ...
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，...18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述符...
详细的介绍了Linux下的编程指南 目 录 译者序 前言 第一部分 shell 第1章 文件安全与权限 1 1.1 文件 1 1.2 文件类型 2 1.3 权限 2 1.4 改变权限位 4 1.4.1 符号模式 4 1.4.2 chmod命令举例 5 1.4.3 绝对...
linux/unix shell编程指南,全面介绍了Linu/unix shell编程的常用知识和技巧，是不可多得的编程宝典。 目 录 译者序 前言 第一部分 shell 第1章 文件安全与权限 1 1.1 文件 1 1.2 文件类型 2 1.3 权限 2 1.4 改变权限...
18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while 循环和文件描述符 196 18.8 使用 break 和 continue 控制循环 197 18.8.1 ...
18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述符 196 18.8 使用break和continue控制循环 197 18.8.1 break 197 ...
uniq命令可以去掉文本中重复的行。（ × ） 二、单项选择题 find命令按照文件名进行查找的模式为（A） A-name B-user C.-file D.-filename comm命令的选项-1的作用是（B） A.不输出两个文件相同行。 B.不输出第一个...