- 浏览: 146150 次
- 性别:
- 来自: 深圳
文章分类
最新评论
-
lyaqys:
lz实现的OptimisticExclusiveLock有点问 ...
java park/unpark 【java并发】基于JUC CAS原理,自己实现简单独占锁
linux文件合并去重
cat loginpc.txt | awk -F 'userName:' '{print $2}' | awk -F 'remoteAddr' '{print $1}'| sort | uniq| wc -l
2012-07-19 10:30:30| 分类: 默认分类 |字号 订阅
(1)两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
Shell代码
cat file1 file2 | sort | uniq > file3
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
Shell代码
cat file1 file2 | sort | uniq -d > file3
3. 删除交集,留下其他的行
Shell代码
cat file1 file2 | sort | uniq -u > file3
(2)两个文件合并
一个文件在上,一个文件在下
Shell代码
cat file1 file2 > file3
一个文件在左,一个文件在右
Shell代码
paste file1 file2 > file3
(3)一个文件去掉重复的行
Shell代码
sort file | uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
Shell代码
sort file |uniq –u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!
uniq -c 显示重复的行号
cat loginpc.txt | awk -F 'userName:' '{print $2}' | awk -F 'remoteAddr' '{print $1}'| sort | uniq| wc -l
2012-07-19 10:30:30| 分类: 默认分类 |字号 订阅
(1)两个文件的交集,并集
前提条件:每个文件中不得有重复行
1. 取出两个文件的并集(重复的行只保留一份)
Shell代码
cat file1 file2 | sort | uniq > file3
2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)
Shell代码
cat file1 file2 | sort | uniq -d > file3
3. 删除交集,留下其他的行
Shell代码
cat file1 file2 | sort | uniq -u > file3
(2)两个文件合并
一个文件在上,一个文件在下
Shell代码
cat file1 file2 > file3
一个文件在左,一个文件在右
Shell代码
paste file1 file2 > file3
(3)一个文件去掉重复的行
Shell代码
sort file | uniq
注意:重复的多行记为一行,也就是说这些重复的行还在,只是全部省略为一行!
Shell代码
sort file |uniq –u
上面的命令可以把重复的行全部去掉,也就是文件中的非重复行!
uniq -c 显示重复的行号
发表评论
-
毗连“"aa"”和“"bb"”不能给出一个有效的预处理标识符,gcc编译错误表
2013-10-01 18:54 2860gcc bug : ##’ cannot appear at ... -
linux进程cpu资源分配命令nice,renice,taskset
2013-09-04 14:03 1126nice,renice 指定进程运行的优先级 taskset ... -
探索 Pexpect,第 2 部分:Pexpect 的实例分析
2013-08-19 11:08 1665原文: http://www.ibm.com/develope ... -
rsync
2013-08-19 02:06 610rsync -v air@192.168.1.103:/hom ... -
进程监控
2013-08-12 15:40 610*/10 * * * * sh /opt/fetch/mint ... -
建议编译的时候加警告 atof
2013-08-07 20:46 668#include <stdlib.h> ... -
监控脚本的配置
2013-08-05 19:51 56710 9,12,18 * * * /usr/local/bin ... -
feodra 17 安装 chrome
2013-08-04 01:35 7221: 下载:http://www.google.cn/chro ... -
Sudo提权出现:xx用户不在 sudoers 文件中
2013-08-03 20:22 870Sudo提权出现:xx用户不在 sudoers 文件中 症状 ... -
select,epoll,poll比较
2013-07-28 17:13 649select,poll,epoll简介 se ... -
根据nestat 的端口,查看访问的程序
2013-07-19 12:15 895[@zw-76-82 ~]# lsof -i tcp:3398 ... -
linux运维常用命令
2013-07-13 20:40 808推荐一个实用命令:awk '{x+=$2} END {prin ... -
监控log
2013-07-10 14:50 683#!/bin/sh filedate=`date +%Y%m ... -
vim7.3 编辑中文字符的文件会显示乱码
2013-06-29 03:16 767默认编译安装vim7.3后打开含有中文字符的文件会显示乱码,g ... -
vim 退格键(backspace)不能用
2013-06-29 01:59 1633两个步骤: 1.去掉讨厌的有关vi一致性模式,避免以前版本的 ... -
ubuntu pdf乱码解决办法
2013-06-29 01:51 608ubuntu pdf乱码解决办法 第一步,在线安装中文语言支持 ... -
shell 命令
2013-06-19 14:42 567sed 's/workspace/fetch/g' *.sh ... -
java 获取mysql datetime 时间注意
2013-05-16 14:43 1475class SPubinfo implements RowMa ... -
atoi源码
2013-05-14 19:32 1222原文: http://blog.csdn.net/eroswa ... -
为重负网络优化 Nginx 和 Node.js
2013-05-13 01:12 948原文:http://linux.cn/forum.php?mo ...
相关推荐
主要给大家介绍了关于shell文件处理之插入文本到文件的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面跟着小编来一起学习学习吧。
Shell脚本,实现gbk文件到utf-8文件之间的转换。用于开发测试时将Windows上传的文件转换成所需的格式。
读取文件SHELL并判断文件生成时间,考虑到文件可能没有生成完,低于5分钟文件不拷贝。并且可以循环处理,分别判断生成的时间
因为最近要处理一些 JSON 数据格式,所以在经过一番搜索后 最终找到了 jq 这个很棒的工具。jq 允许你直接在命令行下对 JSON 进行操作,包括分片、过滤、转换等等。 让我们通过几个例子来说明 jq 的功能: 一、输出...
shell 处理apache日志入库 awk分析apache日志为*.sql文件 sqlplus写入oracle
您可能感兴趣的文章:PowerShell读取文本文件指定行内容的方法PowerShell比较文本文件的两个方法Shell脚本逐行读取文本文件(不改变文本格式)Powershell实现加密解密文本文件方法实例shell文件处理笔记之插入文
最近,在从事开发工作的过程中,遇到了一个需求:用shell脚本实现对配置文件的读取,并将读取到的配置项写入到新的文件中。为了完成该需求,我们考虑使用awk命令,该命令把文件中的内容逐行的读入,按照特定的规则对...
但是这种命名方式给Linux命令行工具和Shell带来了困扰,因为大多数命令中,都是默认以空格做为值与值之间的分隔符,而不是做为文件名的一部分。 看下面的脚本,我们可以了解的更清楚: 执行的结果如下: 实际上,...
18.7.5 带有测试条件的文件处理 190 18.7.6 扫描文件行来进行数目统计 191 18.7.7 每次读一对记录 193 18.7.8 忽略#字符 193 18.7.9 处理格式化报表 194 18.7.10 while循环和文件描述符 196 18.8 使用break和...
ShellLink一个用于处理ShellLink(LNK)文件的.NET类库,它允许读取,创建和修改ShellLink(LNK)文件。
shell 通过提示您输入,向操作系统解释该输入,然后处理来自操作系统的任何结果输出来管理您与操作系统之间的交互。 shell 向您提供了与操作系统通信的方式。此通信以交互的方式(来自键盘的输入立即操作)或作为...
主要给大家总结介绍了关于利用Shell解析处理XML的方法,分别介绍了关于xmlint、xpath和xml2三种工具的使用,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
Bash Shell提供了很多字符串和文件处理的命令。如awk、expr、grep、sed等命令,还有文件的排序、合并和分割等一系列的操作命令。grep、sed和awk内容比较多故单独列出,本文只涉及字符串的处理和部分文本处理命令。
基于lex词法分析,进行输入分析,提取unix相应的系统调用,以及参数,作为shell文件的输入,进行管道,后台,文件重定向,以及基本命令的进行,实现了unix系统中基本的shell功能。 shell.l--lex文件 myshell.c--处理...
系统环境变量:系统启动的时候或者Shell启动的时候,根据相应的配置文件,有系统直接获取值的这样一些变量
shell基础知识、shell字符串处理、shell表达式与运算符、shell流程控制、shell函数与数组、shell正则表达式、shell文本处理三剑客(grep、sed、awk)、shell标准输入、输出和错误、shell信号发送与捕捉、shell编程时...
有了Shell脚本,你可以结合基本的UNIX文本与文件处理命令来消化数据,以及自动化重复的工作。一旦你对Shell脚本的编写掌控自如,在接下来的几年,这些技巧将对你相当有帮助。.\r\n 编写Shell脚本所需要的不只是对...
若在linux-shell下运行(把中文注释删掉,Shell不识别),命令为ifort name.pf90 -o name(name为要生成的目标exe文件) ! 或者 ifort name.pf90也可以,生成名为a.out的 exe文件, !保证LOCPOT和a.out在同一文件下...