`
snowing11812
  • 浏览: 119560 次
  • 来自: ...
社区版块
存档分类
最新评论

WGET 使用的一些介绍以及汇总

阅读更多

WGet使用指南

      wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理.

      所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

       wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候,wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

      wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

 

 

用wget下载多个文件


     如果有多个文件需要下载,那么可以生成一个文件,把每个文件的URL写一行,例如生成文件download.txt,然后用命令:wget -i download.txt这样就会把download.txt里面列出的每个URL都下载下来。(如果列的是文件就下载文件,如果列的是网站,那么下载url对应的页面

 

      首先建立下载文件的url列表,例如url.txt:

 文件内容:
ftp://ftp.xxxxx.org/pub/xxxxx/4.x.0/source/xxxxx-1.tgz
ftp://ftp.xxxxx.org/pub/xxxxx/4.x.0/source/xxxxx-2.tgz
ftp://ftp.xxxxx.org/pub/xxxxx/4.x.0/source/xxxxx-3.tgz
……

 
       然后执行:

   
wget -b -i url.txt -c >; log.txt

 

 
       其中:

 

 

-b 后台执行Wget;
-i inputfiles 从文本文件内读取地址列表;
-c 断点下传;

 

 

    或利用shell脚本:

 

 

for x in `cat urlist`
do
wget bc $x
done

 

下载到指定目录


       wget下载一个ftp的目录到一个指定的本地目录。

wget -r ftp://xxx/ccc/aa/bb/ -P /home/work -nH --cut-dirs=2
 
加上 --cut-dirs=n 忽略n个目录
加上 -P dir 指定文件夹dir

 

 

wget的使用格式

       Usage: wget [OPTION]... [URL]...用wget做站点镜像:

       wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/

# 或者

       wget -m http://www.tldp.org/LDP/abs/html/在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载

       wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

# 或者

       从filelist读入要下载的文件列表

       wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log

       上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件 filelist.txt中,在晚上要出去系统前执行上面代码的第二条。

 

       使用代理下载

       wget -Y on -p -k https://sourceforge.net/projects/wvware/代理可以在环境变量或wgetrc文件中设定

 

# 在环境变量中设定代理

       export PROXY=http://proxy.xxxxxx.com:8080/

# 在~/.wgetrc中设定代理

       http_proxy = http://proxy.xxxxxx.com:10003/

        ftp_proxy  = http://proxy.xxxxxx.com:10003/

 

wget各种选项分类列表

-V, --version 显示wget的版本后退出
-h, --help 打印语法帮助
-b, --background 启动后转入后台执行
-e, --execute=COMMAND 执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc记录和输入文件
-o, --output-file=FILE 把记录写到FILE文件中
-a, --append-output=FILE 把记录追加到FILE文件中
-d, --debug 打印调试输出
-q, --quiet 安静模式(没有输出)
-v, --verbose 冗长模式(这是缺省设置)
-nv, --non-verbose 关掉冗长模式,但不是安静模式
-i, --input-file=FILE 下载在FILE文件中出现的URLs
-F, --force-html 把输入文件当作HTML格式文件对待
-B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀
--sslcertfile=FILE 可选客户端证书
--sslcertkey=KEYFILE 可选客户端证书的KEYFILE
--egd-file=FILE 指定EGD socket的文件名下载
--bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)
-t, --tries=NUMBER 设定最大尝试链接次数(0 表示无限制).
-O --output-document=FILE 把文档写到FILE文件中
-nc, --no-clobber 不要覆盖存在的文件或使用.#前缀
-c, --continue 接着下载没下载完的文件
--progress=TYPE 设定进程条标记
-N, --timestamping 不要重新下载文件除非比本地文件新
-S, --server-response 打印服务器的回应
--spider 不下载任何东西
-T, --timeout=SECONDS 设定响应超时的秒数
-w, --wait=SECONDS 两次尝试之间间隔SECONDS秒
--waitretry=SECONDS 在重新链接之间等待1...SECONDS秒
--random-wait 在下载之间等待0...2*WAIT秒
-Y, --proxy=on/off 打开或关闭代理
-Q, --quota=NUMBER 设置下载的容量限制
--limit-rate=RATE 限定下载输率目录
-nd --no-directories 不创建目录
-x, --force-directories 强制创建目录
-nH, --no-host-directories 不创建主机目录
-P, --directory-prefix=PREFIX 将文件保存到目录 PREFIX/...
--cut-dirs=NUMBER 忽略 NUMBER层远程目录HTTP 选项
--http-user=USER 设定HTTP用户名为 USER.
--http-passwd=PASS 设定http密码为 PASS.
-C, --cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许).
-E, --html-extension 将所有text/html文档以.html扩展名保存
--ignore-length 忽略 `Content-Length'头域
--header=STRING 在headers中插入字符串 STRING
--proxy-user=USER 设定代理的用户名为 USER
--proxy-passwd=PASS 设定代理的密码为 PASS
--referer=URL 在HTTP请求中包含 `Referer: URL'头
-s, --save-headers 保存HTTP头到文件
-U, --user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION.
--no-http-keep-alive 关闭 HTTP活动链接 (永远链接).
--cookies=off 不使用 cookies.
--load-cookies=FILE 在开始会话前从文件 FILE中加载cookie
--save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中FTP 选项
-nr, --dont-remove-listing 不移走 `.listing'文件
-g, --glob=on/off 打开或关闭文件名的 globbing机制
--passive-ftp 使用被动传输模式 (缺省值).
--active-ftp 使用主动传输模式
--retr-symlinks 在递归的时候,将链接指向文件(而不是目录)递归下载
-r, --recursive 递归下载--慎用!
-l, --level=NUMBER 最大递归深度 (inf 或 0 代表无穷).
--delete-after 在现在完毕后局部删除文件
-k, --convert-links 转换非相对链接为相对链接
-K, --backup-converted 在转换文件X之前,将之备份为 X.orig
-m, --mirror 等价于 -r -N -l inf -nr.
-p, --page-requisites 下载显示HTML文件的所有图片递归下载中的包含和不包含(accept/reject)
-A, --accept=LIST 分号分隔的被接受扩展名的列表
-R, --reject=LIST 分号分隔的不被接受的扩展名的列表
-D, --domains=LIST 分号分隔的被接受域的列表
--exclude-domains=LIST 分号分隔的不被接受的域的列表
--follow-ftp 跟踪HTML文档中的FTP链接
--follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表
-G, --ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表
-H, --span-hosts 当递归时转到外部主机
-L, --relative 仅仅跟踪相对链接
-I, --include-directories=LIST 允许目录的列表
-X, --exclude-directories=LIST 不被包含目录的列表
-np, --no-parent 不要追溯到父目录
分享到:
评论

相关推荐

    Wget下载命令汇总

    1. `-V,--version`:显示`Wget`的版本信息,用于确认你正在使用的版本。 2. `-h,--help`:输出帮助信息,帮助用户理解可用的参数和用法。 3. `-e,--execute=COMMAND`:执行`.wgetrc`文件中的命令,`.wgetrc`是`Wget`...

    rabbitmq.zip

    RabbitMQ五种模式完整实例及介绍和区别汇总,包括helloword模式,work模式,发布订阅模式,路由模式,主题模式

    Python程序设计完整版教学课件汇总

    本资源摘要信息中,我们将对 Python 程序设计进行详细的介绍和解释,涵盖 Python 的基础知识、安装方法、IDLE 使用、 pip 命令使用、数字和运算符的概念、变量的使用和存储机制、Python 语句语法等方面的知识点。...

    Linux 操作系统 汇总

    - **shell脚本编程**:如何编写自定义的命令行脚本,使用条件语句、循环结构以及函数。 - **系统管理**:包括用户管理、磁盘管理、备份与恢复策略、日志分析等。 - **系统安全**:防火墙设置、权限控制、 SELinux...

    Linux Shell快捷键汇总表.pdf

    以下是Linux Shell快捷键汇总表中提到的一些快捷键的详细解释和使用场景: 1. 文本导航快捷键: - `Ctrl+左右箭头`:在当前行中的单词之间跳转。 - `Ctrl+a`:跳转到当前行的开头。 - `Ctrl+e`:跳转到当前行的...

    CentOS6.5 + CloudStack4.3搭建流程以及问题汇总

    ### CentOS6.5 + CloudStack4.3 搭建流程及问题汇总 #### 一、搭建流程 ##### 1.1 配置网卡属性 为了确保CloudStack能够正常运行,首先需要对CentOS 6.5的操作系统的网卡进行配置。这一步骤非常重要,因为它直接...

    percona-toolkit工具包的使用教程

    根据 Percona Toolkit 的工具分类,可以将其分为五大类,下面详细介绍这些工具的具体用途和使用方法。 ##### (一) 开发类工具 **1. pt-duplicate-key-checker** - **功能**:该工具用于检查 MySQL 表中的重复索引...

    MongoDB数据库简单介绍

    ### MongoDB数据库简单介绍 #### MongoDB概述 MongoDB是一款开源、基于分布式文件存储的NoSQL数据库系统,它使用C++语言编写。与传统的关系型数据库不同,MongoDB采用文档数据模型来存储数据,这种数据模型非常灵活...

    ELK部署问题汇总1

    本文将汇总ELK部署过程中常见的问题及其解决方案。 首先,我们来看Logstash的部分。Logstash是一个用于收集、解析、过滤和转发日志事件的工具。配置文件中的`input`和`output`部分分别定义了输入源和输出目标。当...

    Linux学习笔记 常用命令汇总

    这些只是Linux学习笔记中可能会涵盖的一部分内容,实际的学习资料可能会更详细地介绍每个命令的参数、使用场景和实例。通过深入理解和实践这些命令,你将能够更好地掌握Linux系统,并为在IT领域的工作打下坚实的基础...

    Linux 初学者基础知识点汇总,日常使用命令,快速上手

    Linux是世界上最广泛使用的开源操作系统之一,对于初学者来说,掌握其基本操作和命令是至关重要的。这份资料集合了Linux的基础知识点,旨在帮助新手快速上手并熟悉日常使用。以下是主要的知识点概括: 1. **Linux...

    nginx汇总整理及安装包.rar

    以上只是 Nginx 的基础应用介绍,实际上,Nginx 支持丰富的模块扩展,如缓存、SSL 加密、限速、防盗链等,能胜任各种复杂的 Web 服务场景。通过深入学习和实践,你可以进一步发挥 Nginx 的潜力,构建高效稳定的网络...

    操作系统安全:openvas安装使用.pptx

    1. 安装 OpenVAS 所需的依赖项 wager:`yum -y install wget` 2. 安装 OpenVAS 软件包:`yum -y install openvas` 3. 更新 OpenVAS 数据库:`openvas-setup` 4. 同步 OpenVAS 数据库:`openvas-nvt-sync` 配置网络 ...

    Linux企业运维人员最常用150个命令汇总1

    以下是一些最常用的命令,涵盖了系统查询、文件管理、内容处理、压缩解压缩、信息显示、搜索、用户管理以及网络操作等多个方面。 1. **查询及帮助命令**: - `man`:提供命令的详细使用手册,是获取命令用法的重要...

    MySQL DBA最佳运维工具percona toolkit使用手册

    Percona Toolkit的主要功能包括但不限于检查主从数据一致性、高效地进行数据归档、发现重复索引、汇总服务器信息、分析日志和网络流量以及在系统故障时快速收集关键信息等。 Percona Toolkit的前身是Maatkit和...

    Linux使用FIO测试磁盘的IOPS1

    - **随机写测试**、**顺序读**、**顺序写**和**混合随机读写**的参数配置与随机读类似,只需更改`rw`参数即可,如`randwrite`、`read`、`write`和`randrw`,以及调整`rwmixread`以控制混合读写的比例。 **4. 实际...

    linux-150个命令汇总(完毕).zip

    以下是一些重要的Linux基础命令及其功能: 1. `ls`:列出目录内容,用于查看当前目录下的文件和子目录。 2. `cd`:改变目录,用于切换到不同的工作目录。 3. `pwd`:显示当前工作目录,确认你所在的位置。 4. `...

    Linux shell 参考文档 杂七杂八留下的代码

    6. **网络操作**:如wget、curl命令的使用,以及编写脚本进行网络文件传输。 7. **权限管理**:理解chmod、chown、chgrp命令,以及umask设置。 8. **cron服务的使用**:配置cronjob,设置定时任务的规则和格式。 ...

    python 下载文件的多种方法汇总

    Python 下载文件是编程任务中...以上就是Python下载文件的多种方法,包括`requests`、`urllib`、`urllib3`、`wget`库的使用,以及如何处理大文件和添加进度条。了解这些方法将使你在处理文件下载任务时更加游刃有余。

Global site tag (gtag.js) - Google Analytics