Как использовать wget, инструмент для загрузки Ultimate Command Line

Новее не всегда лучше, а Wget Команда является доказательством. Впервые выпущенное в 1996 году, это приложение до сих пор остается одним из лучших менеджеров закачек на планете. Если вы хотите загрузить один файл, целую папку или даже зеркально отобразить весь веб-сайт, wget позволяет сделать это всего несколькими нажатиями клавиш.

Конечно, есть причина, по которой не все используют wget: это приложение для командной строки, поэтому начинающим нужно учиться немного времени. Вот основы, чтобы вы могли начать.

Как установить wget

Прежде чем вы сможете использовать wget, вам необходимо установить его. Как это сделать, зависит от вашего компьютера:

• Большинство (если не все) дистрибутивов Linux поставляются с wget по умолчанию. Таким образом, пользователи Linux не должны ничего делать!
• Системы MacOS не поставляются с wget, но вы можете установить инструменты командной строки, используя Homebrew. Как только вы настроили Homebrew, просто запустите заваривать установить Wget в терминале.
• Пользователи Windows не имеют легкого доступа к wget в традиционной командной строке, хотя Cygwin предоставляет wget и другие утилиты GNU, а оболочка Bash Ubuntu в Windows 10 также поставляется с wget.

После того, как вы установили wget, вы можете сразу начать использовать его из командной строки. Давайте загрузим несколько файлов!

Скачать один файл

Давайте начнем с чего-то простого. Скопируйте URL для файла, который вы хотите загрузить в своем браузере.

Теперь вернитесь в терминал и введите Wget сопровождаемый вставленным URL. Файл загрузится, и вы увидите прогресс в реальном времени.

Обратите внимание, что файл будет загружен в текущую папку вашего терминала, поэтому вы захотите CD в другую папку, если вы хотите, чтобы она хранилась в другом месте. Если вы не уверены, что это значит, ознакомьтесь с нашим руководством по управлению файлами из командной строки. В статье упоминается Linux, но концепции одинаковы для систем MacOS и Windows, работающих под управлением Bash..

Продолжить незавершенную загрузку

Если по какой-либо причине вы остановили загрузку до того, как она могла закончиться, не беспокойтесь: wget может начать работу с того места, где она остановилась. Просто используйте эту команду:

файл wget -c

Ключ здесь -с, который является «опцией» на языке командной строки. Эта конкретная опция сообщает wget, что вы хотите продолжить существующую загрузку.

Зеркало весь сайт

Если вы хотите скачать весь веб-сайт, wget может сделать всю работу.

wget -m http://example.com

По умолчанию это загрузит все на сайте example.com, но вы, вероятно, захотите использовать еще несколько опций для используемого зеркала..

• --Convert-ссылки изменяет ссылки внутри каждой загруженной страницы, чтобы они указывали друг на друга, а не на сеть.
• --страница-реквизиты загружает такие вещи, как таблицы стилей, поэтому страницы будут выглядеть правильно в автономном режиме.
• --нет родителя останавливает wget от загрузки родительских сайтов. Так что если вы хотите скачать http://example.com/subexample, у вас не будет родительской страницы.

Объедините эти варианты по вкусу, и вы получите копию любого веб-сайта, который вы можете просматривать на своем компьютере..

Обратите внимание, что зеркалирование всего сайта в современном Интернете займет много места, поэтому ограничьте его маленькими сайтами, если у вас нет практически неограниченного хранилища..

Скачать весь каталог

Если вы просматриваете FTP-сервер и находите целую папку, которую хотите загрузить, просто запустите:

wget -r ftp://example.com/folder

р в этом случае сообщает wget, что вы хотите рекурсивную загрузку. Вы также можете включить --noparent если вы хотите избежать загрузки папок и файлов выше текущего уровня.

Скачать список файлов одновременно

Если вы не можете найти всю папку нужных вам загрузок, wget все равно может помочь. Просто поместите все URL загрузки в один файл TXT.

затем укажите Wget на этот документ с -я вариант. Как это:

wget -i download.txt

Сделайте это, и ваш компьютер загрузит все файлы, перечисленные в текстовом документе, что очень удобно, если вы хотите оставить загрузку на ночь.

Еще несколько хитростей

Мы могли бы продолжить: wget предлагает множество вариантов. Но это руководство предназначено для того, чтобы дать вам отправную точку. Чтобы узнать больше о возможностях wget, введите человек Wget в терминале и читайте, что подходит. Вы многому научитесь.

Сказав это, вот несколько других вариантов, которые я считаю аккуратными:

• Если вы хотите, чтобы ваша загрузка работала в фоновом режиме, просто включите опцию -б.
• Если вы хотите, чтобы wget продолжала пытаться загрузить, даже если есть ошибка 404, используйте опцию -т 10. Это будет пытаться загрузить 10 раз; Вы можете использовать любой номер, который вам нравится.
• Если вы хотите управлять своей пропускной способностью, опция --Ограничение скорости = 200k ограничит скорость загрузки до 200 КБ / с. Измените номер, чтобы изменить ставку.

Здесь можно многому научиться. Вы можете посмотреть загрузку исходного кода PHP или настроить автоматический загрузчик, если хотите стать более продвинутым.