Как закачать\скачать\выкачать сайт целиком
15.06.2009, рубрики: FreeBSD, Linux | Теги: FreeBSD, Linux, wget | 717 комментариев »Очень часто бывают ситуации когда нужно скачать сайт целиком, чтобы потом его смотреть в оффлайн (без подключения к сети интернет). Для этого существуют много программ, но все они предпочтительно для ОС Windows. Что же делать если у вас ОС Linux или FreeBSD, не отчаивайтесь, сайт можно скачать с помощью стандартной программы wget.
Рассмотрим примеры:
wget http://www.free-pc-help.ru/ — скачает первую страницу сайта
wget -r http://www.free-pc-help.ru/ — скачает первую страницу сампы и пойдет рекурсивно по ссылкам глубиной до 5. Такую скачку лучше не делать, без ограничения он тебе полинтернета выкачает.
wget -r -L http://www.free-pc-help.ru/ — то же что и предудущий, но будет ходить только по относительным ссылкам (ключ -L). Т.е. гарантия того, что будет выкачан только free-pc-help.ru
wget -r -L -np http://free-pc-help.ru/faq/index.html — то же, что предыдущий, но не будет подниматься выше http://free-pc-help.ru/faq/ т.е. можно скачать только один раздел сайта
wget -r -L -np -k http://free-pc-help.ru/faq/index.html -— то же, что предыдущий, но все ссылки будут приведеты к относительному виду (ключ -k), т.е. сайт можно будет просматривать на компе, переходя по ссылкам... Ключ -k тебе просто необходимо использовать
— Q квота
при выкачивании сайта целиком или толпы файлов остановится при превышении лимита. Пример: -Q2m (два мегабайта)
— m
зеркалирование сайта. Удобно при обновлении ранее скачанного сайта. Вытаскивает только изменившиеся файлы
Самое мощное — accept- и reject-листы (при рекурсивном обходе с параметром -r)
— A список
выкачивание только файлов с заданными шаблонами или расширениями. Например, -A doc, rtf забирает только вордовские документы
— R список
выкачивание только файлов, не имеющих перечисленные шаблоны или расширения. Например, -R avi закачивает все, кроме avi-файлов
В списках допускаются шаблонные выражения. Например, можно написать -A [0-9]«*.pdf» и выкачать только файлы, имена которых начинаются с цифры и оканчиваются на pdf. Разумеется структура каталогов также будет скопирована, но все остальные файлы — нет
Если остались вопросы, задавайте в коментариях.
Спасибо, полезная статейка, использовал wget только для загрузки файлов с докачкой ...
Спасибо! В винде пользовался доунлоадером (кажется так — давно это было:) простенькая до ужаса програмка, но в linux все гораздо проще. Знание — сила!
Скачал свой сайт на пробу. Пока непонятно как его посмотреть. Будем разбираться