Яндекс для всех

Абрамзон М. Г.

На индексацию сайтов отечественными поисковиками (Яндекс и Рамблер) оказывает влияние тег <noindex> </noindex>. Все, что будет размещено на странице внутри этого тега, не индексируется (зарубежные поисковики на этот тег внимания не обращают). С другой стороны, этот тег может быть использован для манипулирования распределением на странице ключевых слов.

Хотя поисковым системам уже немало лет, но индексировать скрипты, написанные на Java-script и Vbscript, они еще не научились. Тем более те, что исполняются на стороне клиента. Поэтому переход по ссылке, формируемой в процессе загрузки страницы, робот не отследит. В лучшем случае, робот проиндексирует скрипт как обычный текст.

Аналогичная

ситуация сложилась и вокруг выпадающих меню, выполненных по технологии DHTML. Помимо причин, аналогичных взаимоотношению паука и скриптов, меню на DHTML имеет и дополнительную проблему. Заключается она в том, что часто код меню размещается во внешних файлах, а некоторые поисковые роботы такую систему формирования структуры ссылок не поддерживают.

Многие сайты, разработанные на технологиях ASP, PHP, Cold Fusion или JSP, формируют динамические адреса страниц. Порой их сложно отличить от статических, но многие пауки считают динамическими адресами те, в которых присутствует знак вопроса или они имеют расширение, отличное от htm или html, например php, jsp, pl и др. В строке динамического адреса могут находиться несколько параметров со своими значениями. Некоторые поисковые роботы будут обрабатывать такие адреса, если количество параметров не превышает некоторого определенного числа. Другие — вообще не будут обрабатывать такие адреса. Третьи обработают лишь часть адресов в количестве, не превышающем некоторого значения. Следовательно, сайты, адреса страниц на которых определяются динамически, могут "выпасть" из индекса поисковой системы вне зависимости от их качества.

Мешают корректному процессу индексирования неверные отклики сервера. Проявляться это может, например, в том, что сервер выдает код 200 (Ok) для несуществующих страниц, либо возвращает код 301 (перемещено), 302 (временно перемещено), 404 (не найдено). В последних трех случаях страницы роботом не индексируются, а если они уже были в индексе, то удаляются из него.

Обратите внимание на размер страницы. Практика показывает, что роботы индексируют только определенное количество первых килобайтов кода. Например, робот Google добавляет в индекс первые 101 Кбайт, робот Яндекса — не более 200 Кбайт. Поэтому большие тексты для полноценного индексирования лучше разбивать на части.

Если обратиться к Яндексу, то рекомендую прочитать ответы Александра Садовского на вопросы, заданные ему на форуме www.searchengines.ruв ходе пресс-конференции. В частности, были затронуты вопросы влияния внешних факторов на индексирование сайтов. Например, очень жесткое отношение у Яндекса к сайтам-сателлитам, созданным специально для роботов. Такие сайты определяются с помощью специальных алгоритмов, позволяющих найти их и исключить из индекса.

На вопрос о влиянии хостинговой площадки на процесс индексирования и получаемый размещенным на площадке сайте "вес", Александр ответил:

Яндекс не выдвигает требований к хостингам, и сайты на любой площадке, которые отвечают нашему роботу, индексируются одинаково быстро. Тем не менее можно сформулировать рекомендации общего характера.

• При выборе хостера обращайте внимание на стабильность работы его оборудования (для этого можно воспользоваться такими сервисами, как http://www.uptime.ru/, http://www.uptime.org.ua/и др.); ширину канала на Россию, если серверы расположены вне РФ; загрузку сервера, на котором будут работать ваши скрипты. Все это в той или иной мере определяет возможность робота "достучаться" до сайта.

9.4.1. Пессимизация и баны

Теперь можно ввести еще один термин, связанный с результатами ранжирования сайтов. Это — пессимизация, разновидность

наказания сайта поисковой системой, которая проявляется в необычно низком ранжировании сайта. Вот какое определение было дано в 2005 году этому явлению:

Пессимизация — это принудительное занижение поисковой системой позиций некоторого сайта по ключевым запросам.

Термин "пессимизация" был придуман разработчиками поисковой системы Рамблер. В Рунете этот термин был официально упомянут в 2003 году при обсуждении принципов работы Рамблера. Другие поисковые системы официально о пессимизации не заявляли ( http://www.seonews.ru/masterclass/9/34/).

С тех пор прошло довольно много времени, и о пессимизации говорят не только на Рамблере. Отвечая на вопросы, Александр Садовский так охарактеризовал пессимизацию:

Пессимизацию можно рассматривать как понижение в результатах поиска сайта и/или его страниц за некачественную информацию или использование обманных техник. Например, если сайт активно участвует в ссылочных обменах, "линкаторах" и другими способами ссылается на "накрученные" ресурсы и спам, он может быть автоматически пессимизирован.

Пессимизация может применяться как к сайту в целом, так и к его отдельным разделам и страницам. Устранение причины, приведшей к автоматической пессимизации, возвращает сайту нормальные позиции тоже автоматически.

Процесс пессимизации на Яндексе можно условно разделить на автоматический и ручной. При автоматической пессимизации специальный робот выполняет проверку страниц, помещенных в Индекс, для выявления чрезмерно оптимизированных страниц. В случае их выявления, им присваивается коэффициент пессимизации, отрицательно сказывающийся на ранжировании. Этот коэффициент будет также автоматически убран в том случае, если при очередном посещении сайта роботом поисковой системы факторы, определявшие чрезмерную оптимизацию сайта, будут со страницы удалены.

Вот некоторые причины, по которым сайт может быть пессимизирован:

использование автоматического линкообменника (каталога ссылок);

попытка продвижения по непрофильным тематикам, не соответствующим фактическому содержанию сайта;

наличие сайтов-сателлитов;

сайты "фишеров", предназначенных для незаконного получения конфиденциальной информации у посетителей;

линкообменные системы;

жалобы.

Ручная пессимизация выполняется, как правило, на основе рассмотрения жалоб. Если факты, содержащиеся в жалобе, будут подтверждены и будут противоречить "Лицензии на использование поисковой системы Яндекс", то к такому сайту будут применены фильтры, снять которые можно будет лишь обращением в службу поддержки после приведения сайта в соответствие с лицензией. Действие фильтров приводит к запрету на учет всех ссылок, ведущих на пессимизируемый сайт. А это приводит к потере вИЦ, а также к потере своего места в ссылочном ранжировании, сказывается и на авторитетности сайта.

Примечание

Если вы обнаружите, что у известного вам сайта тИЦ неожиданно обнулился, это в большинстве случаев означает лишь то, что сайт был пессимизирован.

Пессимизация — явление частичное, сайт, пониженный в рейтинге, продолжает оставаться в Индексе. При более серьезных нарушениях лицензии применяется наказание в виде бана, при котором сайт полностью исключается из Индекса. В отличие от пессимизации, бан сайта всегда выполняется вручную на основании полученных жалоб или обнаруженных службой поддержки нарушений лицензии.