Как найти и скачать в Интернете любые файлы

Райтман М. А.

Я для примера попробую загрузить содержимое веб-сайтавы — любого другого ресурса в Интернете.

ПРИМЕЧАНИЕ.

Стоит отметить, что далеко не все веб-сайты "позволяют скачивать себя".

1. В поле ввода Адрес (URL) Проекта (Project URL) укажите адрес вебсайта, который следует загрузить. В моем случае, это http://www.spliff-guru.ucoz.com/.

В поле ввода Название Проекта (Project name) вы можете указать персональное название проекта. По умолчанию в этом поле отображается адрес загружаемого веб-сайта.

2. Щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится.

На этом шаге следует выбрать уровень

загрузки содержимого веб-сайта. Чтобы загрузить только текущую страницу, следует установить значение уровня равным 0. Если нужно загрузить все страницы, которые доступны по ссылкам на текущей странице (включая и саму текущую страницу), значение уровня должно быть равным 1 и т. п. Можно установить максимальное значение уровня равным 1000 или же вовсе отменить ограничение глубины загрузки, сбросив флажок Уровень (Levels limit). В этом случае вы загрузите весь веб-сайт полностью, а также и все остальные веб-сайты, ссылками связанные друг с другом.

3. Установите значение уровня загрузки (я установил его равным 10) и щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится.

Теперь следует определиться, какие файлы нужно загружать — все или же некоторые типы запретить. По умолчанию ограничения не заданы, но вы можете применить их, установив переключатель в положение Пропустить загрузку следующих типов файлов (Skip loading the following file types) и сбросив флажки напротив названий типов файлов, которые не следует скачивать. Это могут быть графические, звуковые, видео- и архивные файлы.

4. Определите ограничения на загрузку типов файлов или же оставьте значение по умолчанию, а затем щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится.

На этом шаге следует определиться, откуда могут быть загружены файлы. Если установить переключатель в положение Загружать только с начального адреса (Load only within starting URL), то загрузка файлов будет производиться с адреса, указанного на первой странице мастера. При выборе варианта Загружать только с начального сервера (Load only from the starting server) файлы будут загружаться с данного домена и его поддоменов. К примеру, если выбрать в качестве адресато будут загружаться и все веб-страницы типаhttp://www.vasya.ucoz.com и т. д. При установке переключателя в положение Загружать с любого места (Load from any location) файлы будут загружаться с любого сервера в Интернете, на который ссылается веб-сайтВ последнем случае (при отключенном лимите уровня загрузки) загрузка файлов не прекратится до тех пор, пока не будет загружено содержимое всех серверов, связанных между собой ссылками (рис. 3.20).

Также вы можете сбросить флажок Загружать изображения с любого места (Load images from any location), чтобы запретить загрузку графических файлов, расположенных на других серверах и представляющих собой, в большинстве (но не во всех) случаев, рекламные баннеры и т. п.

5. Щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится, и вы увидите сообщение о том, что создание проекта успешно завершено.

Теперь можно приступить к непосредственной загрузке веб-сайта. Но прежде чем приступать к скачиванию, расскажу о некоторых дополнительных настройках проекта.

6. Установите переключатель в положение Загрузить Проект позже (Download the Project later) и щелкните мышью на кнопке Дальше (Next). Вы увидите главное окно программы с только что созданным проектом в списке слева (рис. 3.21).

Интерфейс программы выполнен нестандартным образом — привычная строка меню отсутствует, а все команды представлены в виде элементов управления на вкладках в верхней части окна. На вкладке Главная (Home) вы можете создать новый проект как вручную (Новый проект (New Project)), так и с помощью описанного ранее Мастера (Мастер (Project Wizard)). Раскрывающийся список Проект из шаблона (Project from Template) в группе Мои Шаблоны (My Template) содержит команды, создающие проекты на основе самых популярных запросов. К примеру, шаблон Download only images from the site (Загрузить с сайта только изображения) автоматически указывает в свойствах проекта, что загружать следует только графические изображения. Вы можете и самостоятельно создавать шаблоны, определяя для каждого из них

собственные настройки (Новый шаблон (New Template)). На этой же вкладке вы можете управлять процессом загрузки проекта и просматривать его с помощью различных программ, управлять свойствами проекта и выполнять другие операции. Вкладка Свойства (Properties) позволяет быстро отфильтровать загружаемые типы файлов и получить доступ к различным разделам диалогового окна Свойства проекта (Project Properties). Вкладка Загрузка (Download) содержит элементы управления процессом загрузки проекта, а вкладка Вид (View) управляет интерфейсом программы. На вкладке Интернет (Internet) определяются параметры соединения с Интернетом.

ПРИМЕЧАНИЕ.

В раскрывающемся списке Количество соединений (Numbers of connections) вы можете указать количество потоков (от 1 до 20), с помощью которых будут загружаться файлы. На некоторых веб-сайтах, таких как narod.ru, не следует устанавливать значение выше 10, т. к. в противном случае, при подключении нескольких соединений с одного IP-адреса сервер расценивает происходящее как DDoS-атаку и блокирует IP-адрес.

На вкладке Сервис (Tools) вам доступны различные возможности по обслуживанию созданных проектов. Раздел Просмотр/Редактирование (Browse/Edit) этой вкладки содержит три открывающихся списка, в каждом из которых после соответствующей настройки будут доступны программы для просмотра и редактирования файлов, а также браузер (браузеры). Также на этой вкладке содержатся средства управления шаблонами и публикацией проекта. Публикация позволит другим пользователям загружать тот же сайт с применением ваших настроек. Раздел Карты (Maps) предназначен для просмотра содержимого планируемого к загрузке веб-сайта. В группе Импорт и Экспорт (Import & Export) вы можете управлять настройками проекта: экспортировать, импортировать и восстанавливать их, открывать для загрузки torrent-файлы, а также сохранять загруженный проект в другой каталог на диске или же в другом формате: архиве zip, веб-архиве mht, в виде кэша Internet Explorer, chm- или exe-файл, а также на FTP-сервер. Вкладка Сервис (Tools) предлагает средства и резервного копирования установок, и файлов проектов.

Вкладка Дополнительно (Advanced) для выполнения различных настроек в диалоговом окне Настройки (Adjustment). На вкладке Справка (Help) содержатся элементы управления для вывода различной справочной информации, проверки обновленных версий программы, ввода регистрационных данных и т. п.

Центральная часть окна программы разделена на две части. В правой части, на вкладке Проекты (Projects), расположены все созданные проекты, независимо от их состояния. На вкладке Карта (Map) выводится структура загруженного сайта, а на вкладке Уровни (Levels) отображаются файлы, ожидающие загрузки. Левая часть окна программы представляет собой встроенный браузер веб-страниц, выполненный на основе программы Internet Explorer. В этом окне вы можете просматривать загружаемые файлы.

В нижней части программы отображается информация о статусе загрузки: активные файлы, их размер и процент закачки для каждого из них.

Теперь я вкратце познакомлю вас с наиболее значимыми настройками, как самой программы, так и проекта. Получить доступ к параметрам программы можно, щелкнув мышью на ярлыке главного меню в левом верхнем углу окна Offline Browser и выбрав пункт Настройки (Options). Откроется одноименное диалоговое окно (рис. 3.22).

В разделе Соединение (Connection) определяются параметры подключения к серверу, с которого происходит загрузка файлов. В некоторых случаях при возникновении проблем с загрузкой может потребоваться изменение значения параметра Количество соединений (Number of connection), если сервер блокирует чрезмерную активность вашего Offline Browser. В любом случае, не рекомендуется указывать значение выше установленного по умолчанию, т. е. 10. Вторая по значимости настройка в этом разделе служит для идентификации оффлайн-браузера и определяется в группе Идентификация агента (Agent identification). Чаще всего достаточно выбора значения Internet Explorer в раскрывающемся списке Идентифицировать как (Identify as). Также вы можете выбрать любое иное значение или ввести его вручную в поле ввода, становящееся доступным после установки переключателя в положение Использовать идентификацию (Use this identification).