html tool

2019年3月20日星期三

linux wget替代axel


https://www.cnblogs.com/Bw98blogs/p/9404502.html

安装:
yum install axel

测试命令:

多线程下载
axel -n 10 http://www.aclweb.org/anthology/W03-0429

[popexizhi: 这个pope没有测试,不过模拟请求头的意义是什么呢?]
这里列出我最喜欢使用的一个命令,具有很强的实用性
Axel -n 线程个数 -a -v -U 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1 Safari/605.1.15' -o '目录/目标文件名' 目标URL
  

两个细节
    1. 用户代理问题
      有些网站需要模拟请求头的 User-agent 从而能够解析 URL。
      那么请求头又从哪里获得呢?这可难不住我们,模拟一个 User-Agent 请求头就可以解决了。User-Agent 可以直接复制浏览器 -> 开发者模式(F12或者 cmd + option + i) -> 网络-> 请求头 -> User-Agent 比如我的就是 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1 Safari/605.1.15。

    2.目录问题
      指定的目录需要是已存在的目录,命令行的程序通常都并不会新建目录。

没有评论:

发表评论