`
redalx
  • 浏览: 179140 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

分割文件的脚本

阅读更多
今天需要把一个2百万的号码文件按行分割成500/个的小文件,当然用linux来做很方便:
首选split:
# split  --version
split (coreutils) 5.2.1
Written by Torbjorn Granlund and Richard M. Stallman.

我的版本支持按行分割:
split -l 500  m.txt -d fg

-d参数指定了分割后的文件用数字来命名,并用fg作为前缀,如果不用-d参数,则会生成xaa,xab这样的字母名。如果不指定前缀,则会用x作为默认前缀。

其次用awk,这个是我比较熟悉的方法:
gawk '{i=int((NR-1)/500)+1;{print $0>>"fg_"i".txt"}}' m.txt


当然windows下还可以用批处理来实现:

忽略空行

    @echo off & setlocal enabledelayedexpansion
    set m=1
    for /f "delims=" %%a in (a.txt) do (
            if !n! GEQ 100 set n=0 & set/a m+=1
            echo %%a>>a_!m!.txt
            set/a n+=1
    )


保留空行

    @echo off & setlocal enabledelayedexpansion
    set m=1
    for /f "delims=" %%a in ('findstr /n .* a.txt') do (
            if !n! GEQ 100 set n=0 & set/a m+=1
            for /f "tokens=1* delims=:" %%i in ("%%a") do echo.%%j>>a_!m!.txt
            set/a n+=1
    )



本文和http://www.cn-dos.net/forum/viewthread.php?tid=41471完全相同,我搜索批处理方法的时候找到的。自己也记录一下,现在的记忆力越来越不好了。
分享到:
评论

相关推荐

    python文件按行分割脚本

    由于notepad++打不开大于500MB的文本文件,所以写了这段脚本,可以按随意的行数分割大文件,使用很方便。

    分割fasta文件的python脚本

    文件脚本可将大的fasta文件中的序列,按照个数均分,分割成多个fasta文件,便于对各个小文件中的序列进行后续操作

    文件分割(js脚本).rar

    文件分割(js脚本).rar

    bin文件分割python脚本

    开发过程中,我们往往会遇到bin文件受损的现象,此时对bin文件数据进行截取替换往往可以初步判断出错的地方,方便程序查错与修改

    shell脚本实现nginx日志分割

    本解本实现了使用shell脚本实现nginx日志分割,大家如果没资源分下载,可以转至:https://mp.csdn.net/mdeditor/85233117# 去查看源代码。谢谢大家

    python脚本拆分bin文件

    python脚本拆分bin文件

    php断点续传之文件分割合并详解

    │ split.php –分割文件脚本 │ └─split –分割后小文件目录 下面是源码 split.php <?php $fp = fopen(socket.zip, rb); $filesize = 10; $i = 0; $no = 1; while(!feof($fp)) { $file = fread($...

    linux下的pdf文件分割脚本

    为linux下的pdf分割脚本,方便于那些在移动设备上读取PDF文件的技术人员。 下载之后只需要加可执行权限即可。 如果有任何问题请留言

    Java项目linux启动脚本以及日志分割安装软件

    该资源包含启动springboot项目的shell脚本文件、以及日志分割必备的cronolog压缩文件

    .sql文件分割器

    把.sql 分隔成小的文件 方便打开 解决几百m的文件打开死机的问题

    Windows系统nginx日志分割批处理脚本

    : 为限制 Nginx日志文件大小增加,文件过大,导致无法收缩日志,在配置好的nginx的安装目录下,可以采用批处理文件对日志,根据实际需要的时间进行自动切割,本脚本以天为单位进行保存。对于日志备份功能,因存储...

    超好用!日志分割,文件分割软件

    超好用的文件分割软件,可以任意分割日志文件,方便处理超大的日志文件,分割完后自动生成合并脚本!

    Illustrator画板排序/加矩形框/画板分割脚本插件

    Illustrator画板排序/加矩形框/画板分割脚本插件 先关闭Ai软件,复制“(Mum)_AI_画板排序等_BIN.jsx”文件到”\Adobe Illustrator XX\Presets(有可能显示为预设)\zh_CN\脚本”目录下。 启动AI软件,然后在AI菜单...

    大SQL文件自动分割为小SQL文件,可设置大小

    用来分割从MySQLAdministrator 或者 mysqldump 之类的工具产生的大SQL文件. 小的SQL文件便于从phpMyAdmin之类的受运行时间限制的脚本恢复数据, 这是一个非常好用的工具. 厉害之处是它可以自动将结构语句和数据语句...

    根据atlas文件分割图集

    将atlas文件,png和脚本放在同一文件夹下,运行py脚本后可以将图集分割成小图

    oracle数据库imp批量导入多个DMP文件中的bat脚本

    imp方式批量导入dmp文件。oracle数据库bat脚本。需要配置数据库的链接信息和dmp路径信息。

    BSDS500分割数据集以及处理脚本

    官方页面下载太慢了,让老师帮忙下载了,然后从网上找到了bsdb生成轮廓可视化图脚本和生成分块可视化图脚本。都打包起来以后备用,也方便大家学习使用。数据库包含200张训练图,200张侧视图,100张检验图。ground ...

    halcon语义分割标注工具.zip

    halcon深度学习语义分割标注工具V1.0.0.1.rar(更新,绝对没有次数限制,免费!!!) 1、环境:halcon18.11,windows 64bit 2、功能:替代halcon代码式语义分割工具,增强使用方便性 3、记得每次退出标注前要点击...

    Python-SplitBySubs此Python脚本能根据字幕文件拆分电影文件

    此Python脚本能根据字幕文件拆分电影文件, 它采用ffmpeg可以处理的任何文件格式和SRT字幕文件。

    AI脚本.rar

    下载解压后,将“AI脚本插件合集1.1.jsx”复制到\Abobe Illustrator XX\Presets(在部分AI软件中可能显示为“预设”)\zh_CN\脚本 文件夹下,重新启动ai,就可以在"文件"-"脚本"下看见ai脚本菜单,运行即可。...

Global site tag (gtag.js) - Google Analytics