Как закачать\скачать\выкачать сайт целиком

15.06.2009, рубрики: FreeBSD, Linux | Теги: , , | 717 комментариев »

Очень часто бывают ситуации когда нужно скачать сайт целиком, чтобы потом его смотреть в оффлайн (без подключения к сети интернет). Для этого существуют много программ, но все они предпочтительно для ОС Windows.  Что же делать если у вас ОС Linux или FreeBSD, не отчаивайтесь, сайт можно скачать с помощью стандартной программы wget.

Рассмотрим примеры:

wget http://www.free-pc-help.ru/ — скачает первую страницу сайта

wget -r http://www.free-pc-help.ru/ — скачает первую страницу сампы и пойдет рекурсивно по ссылкам глубиной до 5. Такую скачку лучше не делать, без ограничения он тебе полинтернета выкачает.

wget -r -L http://www.free-pc-help.ru/ — то же что и предудущий, но будет ходить только по относительным ссылкам (ключ -L). Т.е. гарантия того, что будет выкачан только free-pc-help.ru

wget -r -L -np http://free-pc-help.ru/faq/index.html — то же, что предыдущий, но не будет подниматься выше http://free-pc-help.ru/faq/ т.е. можно скачать только один раздел сайта

wget -r -L -np -k http://free-pc-help.ru/faq/index.html -— то же, что предыдущий, но все ссылки будут приведеты к относительному виду (ключ -k), т.е. сайт можно будет просматривать на компе, переходя по ссылкам... Ключ -k тебе просто необходимо использовать

— Q квота
при выкачивании сайта целиком или толпы файлов остановится при превышении лимита. Пример: -Q2m (два мегабайта)

— m
зеркалирование сайта. Удобно при обновлении ранее скачанного сайта. Вытаскивает только изменившиеся файлы

Самое мощное — accept- и reject-листы (при рекурсивном обходе с параметром -r)

— A список
выкачивание только файлов с заданными шаблонами или расширениями. Например, -A doc, rtf забирает только вордовские документы

— R список
выкачивание только файлов, не имеющих перечисленные шаблоны или расширения. Например, -R avi закачивает все, кроме avi-файлов

В списках допускаются шаблонные выражения. Например, можно написать -A [0-9]«*.pdf» и выкачать только файлы, имена которых начинаются с цифры и оканчиваются на pdf. Разумеется структура каталогов также будет скопирована, но все остальные файлы — нет

Если остались вопросы, задавайте в коментариях.


717 комментариев на запись “Как закачать\скачать\выкачать сайт целиком”

  1. 1 Артем сказала в 8:33, 01.05.2010:

    Спасибо, полезная статейка, использовал wget только для загрузки файлов с докачкой ...

  2. 2 Роман сказала в 1:32, 15.06.2012:

    Спасибо! В винде пользовался доунлоадером (кажется так — давно это было:) простенькая до ужаса програмка, но в linux все гораздо проще. Знание — сила!

  3. 3 sozdaniesaitov сказала в 20:43, 11.11.2012:

    Скачал свой сайт на пробу. Пока непонятно как его посмотреть. Будем разбираться


Оставить комментарий