Профессиональный поиск в Интернете

Кутовенко Алексей

На универсальных машинах исторически первым средством извлечения ссылок на файлы из архивов файлообменников были сложные поисковые выражения. В Google с помощью операторов intitle и inurl можно было найти немало таких файлов. Правда, для этого надо было озаботиться изучением операторов и располагать временем на эксперименты. Инструменты автоматизации такого поиска не заставили себя долго ждать.

Некоторые поисковики для Rapidshare продолжают использовать такой подход, реализованный на новом уровне: добавление дополнительных операторов и фильтров происходит автоматически и прозрачно для пользователя. Недостатки подобных поисковиков достаточно очевидны. Во-первых, поиск идет в основном в тексте ссылок. Это значит, что формируя

поисковый запрос, приходится в первую очередь угадывать имя нужного файла, в результате страдает полнота поиска. Кроме того, полезные результаты сопровождаются значительным информационным шумом.

Второе дыхание поисковиков для файлообменников открылось с распространением технологий персонального поиска. Действительно: куда перспективней сосредоточиться на поиске по страницам ресурсов, точно содержащих ссылки на «рапидовские» файлы, чем изощряться в составлении сложных запросов, работающих «по площадям». Поскольку такие веб-страницы, как правило, содержат описания выложенных файлов, их можно использовать как дополнительный источник поисковых признаков. Достоинство такого подхода – он действительно работает и не слишком сложен в реализации. От создателя поисковика, по большому счету, требуется только собрать достойный список ресурсов, публикующих файлы на Rapidshare или на других файлообменниках.

Поскольку подборки ресурсов на разных поисковых машинах различаются, пробуйте искать на нескольких поисковиках – вполне возможно, что нужная ссылка найдется на одном из сайтов из уникального списка определенного поисковика.

Среди множества таких ресурсов упоминания заслуживает несколько проектов. Проект Torosso (torosso.com) предлагает поиск среди ссылок на файлы, хранящиеся на файлообменниках Rapidshare и Depositfiles. Поддерживается и поиск на нескольких крупных торрент-трекерах. Доступен фильтр типов файлов. Достаточно интересные результаты выдает поисковик RapidExplorer (www.grabsharefiLe.com). Он поддерживает поиск ссылок на серверах Rapidshare и Megaupload. Доступны тематические переключатели Web, Software, Music и Video. Результаты поиска неплохие, задания обрабатываются на среднем уровне, без провалов и особых успехов: чуть хуже по книгам, чуть лучше по мультимедиа-файлам и программам. Вот только не стоит при таком поиске включать опцию Software, предусмотренную в интерфейсе RapidExplorer – вы не получите ничего кроме ссылок на весьма подозрительные сайты. Работа с ними – занятие на любителя.

Немало современных поисковиков, работающих с торрентами, построено на базе «персональной» платформы Google Custom Search Engine. Назовем несколько примеров таких поисковых машин.

Ресурс CompleTorrent, по заявлению разработчиков, обрабатывает добрых четыре сотни трекеров, среди которых есть как общеизвестные универсальные ресурсы, так и небольшие тематические проекты. Ахиллесова пята подобного подхода – зависимость от качества работы «пауков» Google. Если в силу каких-либо причин робот Google не сможет проиндексировать сайт, CompleTorrent просто потеряет такой ресурс. Кроме того, CompleTorrent предлагает только самые простые средства составления запроса и не обладает какими-либо полезными дополнениями.

Практически теми же плюсами и минусами обладает поисковик Toorgle. Он представляет собой типичную CSE-машину Google, простую в создании и способную обрабатывать большое количество ресурсов. Данный проект работает с двумя сотнями сайтов.

Необходимо отметить, что стандартные инструменты Google CSE не самым лучшим образом подходят для поиска торрентов. Например, ни на Toorgle, ни на CompleTorrent не приводится сведений о состоянии того или иного торрента, не выявляются «мертвые» релизы, что ведет к большому количеству бесполезных ссылок в результатах поиска.

Среди поисковиков для файлообменников особого внимания заслуживает Rapidoogle (rapidoogLe.com). Он является, пожалуй, лучшим решением в своем

классе, построенном на базе технологии Google Custom Search Engine. В его активе – весьма обширная подборка индексируемых ресурсов. Среди них есть как самостоятельные сайты, так и форумы, а также блоги. В списке выдачи присутствуют как ссылки с достаточно известных ресурсов, так и с большого количества мелких сайтов. Нельзя не отметить неплохой охват азиатских ресурсов, которые обычно выпадают из поля зрения не только пользователей, но и многих специализированных поисковиков, а ведь там можно отыскать достаточно редкие вещи, в том числе повторно размещаемые файлы, ссылки на которые по тем или иным причинам удалены из «наших» сегментов интернета. Это положительно сказывается на качестве результатов поиска. Кроме того, данная система рассылает запросы на некоторые другие поисковые системы, индексирующие файлообменники. Таким образом, Rapidoogle можно рассматривать в качестве своеобразного метапоисковика.

Rapid Search Engine

Поскольку создание собственной базы – процесс достаточно длительный и ресурсоемкий, несколько «рапидовских» поисковиков решили задействовать для этой цели социальные методы. Они предлагают пользователям, которые размещают файлы на обменных ресурсах, сообщать об этом поисковику. Дополнительное преимущество данного решения состоит в том, что при добавлении файла в индексную базу владелец файла составляет его детальное описание, что значительно облегчает его поиск в будущем. Если говорить о минусах такого подхода, то они достаточно очевидны: меньшее по сравнению с автоматически собираемыми базами количество доступных ссылок в индексе проекта, а также более медленное пополнение индексной базы.

Лучшая на сегодняшний день реализация социального поиска в файлообменниках – это проект Rapid Search Engine. Данный поисковик работает только с файлами, размещенными на файлообменнике Rapidshare. Для поиска используются две базы: индекс сайтов, размещающих файлы на Rapidshare, и индексная база прямых ссылок на файлы, генерируемая с помощью пользователей проекта. Разработчики этого поисковика сообщают о почти пятнадцати миллионах проиндексированных файлов. Темпы пополнения индексной базы достаточно стабильны.

На данном ресурсе действуют простой и расширенный режимы поиска. Панель расширенного поиска вызывается щелчком на кнопке Advanced, расположенной под полем ввода запроса. Запрос можно уточнить с помощью фильтра типа файла (аудио, видео, архивный, образ CD/DVD и др.). Здесь же можно ограничить поиск одной из баз Rapid Search Engine с помощью переключателя Web search/Database search (рис. 9.2). В режиме Database Search в списке выдачи будут присутствовать прямые ссылки на файлы, а в режиме Web Search – веб-страницы, содержащие ссылки на файлы. Опция Use ajax включает режим использования интерфейса страницы выдачи, построенного на технологии AJAX.

Рис. 9.2. Rapid Search Engine является в настоящее время лучшим социальным поисковиком для Rapidshare

Страница выдачи в режиме веб-поиска предлагает минимум информации о найденных ресурсах: заголовок найденной веб-страницы, ее адрес, а также текстовую выдержку, обычно содержащую текст, находящийся рядом со ссылкой на файл, размещенный на Rapidshare. Предлагается и несколько вспомогательных инструментов для просмотра кэшированной версии веб-страницы и для автоматического извлечения ссылок на файлы из текста веб-страницы. Обратиться к этой функции можно с помощью ссылки Get RS Links, находящейся справа от каждого найденного результата.