13 shell命令之下载

这个标题我不知道是否合理.因为我接下来要说的,并不全是现在工具.闲言少叙.

首先是linux下三个相关的命令wget   curl   lynx

接下来分别介绍一下使用.

1. wget

wget是一个文件下载命令.可以用来下载网页或者图片等.用法如下:

wget [option] url1 url2...

根据url的不他能够,wget下载的文件也是不同的.如果是纯文本的网页,那么wget下载的也是一个html后缀的文件.

option主要有:

-O   指定保存的文件名.如果没有这个选项,会根据网页的名字来合理命名.

-o   将原本输出到标准输出的日志信息,输出到指定的文件中.

-t   指定重试次数.如果internet不稳定,那么可能会超时,通过-t选项可以指定接受的超时等次数.

--limit-rate   限速.后面跟带单位的数字.比如3k.5M.

-Q   指定单次下载的最大限制.

-c   断点重传.

--mirror   递归下载某个网页所有链接并下载.像爬虫一样.不过对于某些大型网站,这并没有效果.这些网站拒绝被爬.

-N   允许下载的文件打上时间戳.

-r   递归

-l   深度

关于wget,我所知道的就是这么多,不一一演示用法了.同学们看了以后可以自己尝试一下.实际的使用中,我还真没怎么用过这个工具.接下来看一款比wget更厉害的工具.

2. curl

和wget不同,curl的输出直接到stdout,所以如果我们要保存,需要将结果重定向到文件中.curl的选项同样很丰富.

--slient   比显示进度信息.

-O   将输出到从url解析出来的文件名中.

-o filename  输出到指定的文件名

-C offset   断点续传.从指定的offset开始.如果想自动定位断点位置,需要把offset替换成一个减号.

--referer   指定参考页字符串.

--cookie "name=value"   指定一个cookie

--user-agent   指定用户代理.

-H   指定HOST字段

--limit-rate   限速

--max-filesize   指定可下载的最大可用空间.

-u   指定用户名和密码.

3. lynx

这个命令用来浏览网页,可以尽量在字符界面下保证界面布局.虽然看着还是一团...不过毕竟好很多了.

--dump   通过了解,我就知道它的这个参数.把下载的网页重组,将所有涉及到的url列举出来.

当然还有一款axel下载工具.没有用过.大多数时间,毕竟ubuntu是有界面的,肯定还是界面方便.所以能通过浏览器解决的浏览和下载任务,都优先选择浏览器.毕竟效率是最高的.

写这篇文章,一来温习一下自己所学的内容,二来是给各位同学一个参考.希望能够达到启发的效果.当然我们工作学习中,还是以顺手和效率为先.