Как проверить сайт на бан в поисковых системах

Инвестиции в поисковое продвижение имеют смысл, если в результате растет органический трафик и количество лидов (конверсий). Если этого не происходит, нужен срочный аудит ситуации, в том числе желательно разобраться, как проверить сайт на бан в поисковых системах. Это критический случай, когда шансов привлечь «естественный» трафик не получится.

Оба основных поисковика, Яндекс и Google, имеют определенные алгоритмы оценки качества всех опубликованных ресурсов. Их фильтры отличаются по принципу действия, но основная идея одна – не дать выйти в ТОП-10 сайтам с низкокачественным контентом. И предотвратить все попытки манипулирования, например, агрессивным использованием ключевых слов (фраз).

Особенности фильтров:

• робот, накладывающий санкции на сайты, работает автоматически;
• выйти из-под фильтров реально, но на процесс уходит до полугода-года;
• пока ресурс под санкциями, вкладываться в его продвижение нет смысла.

Наличие нарушений правил поисковиков лучше проверять еще на этапе покупки домена. Иногда свободными оказываются заброшенные имена, которые ранее попали под фильтры или даже в бан. Например, из-за переоптимизации страниц, низкого качества контента, внешних ссылок, большое количество ошибок, включая битые ссылки внутри самого ресурса.

Параллельно с понятием «фильтры» оптимизаторы используют и слово «бан». Несмотря на более-менее схожий смысл, их отличает степень «наказания». Так, при фильтрации сайта, он продолжает находиться в поисковой базе, что можно в любой момент проверить. Но не приносит трафика из-за выкидывания на 30-50 позицию в поиске и ниже (3-5 страница и дальше).

Под баном понимают полное удаление ресурса из поисковой базы. Второй вариант критичен для перспективы продвижения средствами SEO. Ведь если фильтрации часто подвергают отдельные страницы, новые имеют вполне солидный шанс попасть в ТОП поисковой выдачи. А при бане «блокируют» домен целиком вместе со всем содержимым.

Вовремя выявить проблемы позволяет регулярный мониторинг трафика на сайт в целом и страницы, приносящие наибольшее количество посетителей. Такая информация доступна в Яндекс.Метрике, в разделе Отчеты> Источники> Поисковые системы. По аналогии можно посмотреть информацию в Google Analytics: Отчеты> источник трафика. Цель – обнаружить резкое проседание трафика.

Есть еще варианты:

• изучить раздел Яндекс.Вебмастера Индексирование> Страницы в поиске> Исключенные страницы;
• проверить страницы, удаленные из индекса, по существу указанных ошибок, например, есть запрет на индексацию в robots.txt или «недостаточно качественная страница»;
• просмотреть ежедневные уведомления того же Вебмастера на предмет изменений на сайте, там обычно указывают ссылки, которые были удалены из поиска.

Если четкого понимания сути проблемы нет, рекомендуется обратиться в службу поддержки, где и запросить разъяснения, примеры страниц. Рассмотрение всех заявок занимает до нескольких дней, поэтому придется подождать. И пока ничего не менять, чтобы потом действовать уже с конкретной целью.

Отдельно стоит наблюдать за показателем ИКС в разделе Качество сайта> Показатели качества. В случае планомерного развития значение постепенно растет или хотя бы находится на одном месте. Если же оно начало падать или вообще обнулилось, желательно срочно начать разбираться, почему это случилось. В первую очередь, обратиться в службу поддержки поисковика.

Можно попробовать разобраться и самому, но проблема в том, что любые изменения на сайте будут проиндексированы в течение нескольких недель. И придется ждать, выйдет ли он из-под фильтров-бана или попытка оказалась неудачной. Поэтому все непонятные ситуации лучше решать через поддержку Яндекса. В Google такой возможности нет.

В нем придется рассчитывать на раздел Search Console – Проблемы безопасности. В Вебмастере от Яндекса есть аналогичный раздел Диагностика> Безопасность и нарушения. Но там периодически появляются сообщения о наложении фильтров. Хотя сайт продолжает получать трафик как прежде. Такую ситуацию все равно придется разъяснять через поддержку поисковика.

Существует три распространенных инструмента довольно объективно отражающие появление тех или иных проблем. Это трафик, позиции в поиске и показатель качества ИКС. Первый можно наблюдать в Метрике и Analytics, настроив «под себя» отчеты по источникам. Третий отображается в Вебмастере. Второй же придется получать при помощи сторонних сервисов вроде Топвизора.

Во всех трех инструментах критерием для «паники» считается резкое падение показателей, которые не возвращаются на прежнее место после очередного апдейта поисковой базы. Лучше использовать их в совокупности, ведь существуют фильтры за переспам по определенной фразе или группе фраз. Что может долго не отражаться на общем трафике или показателе ИКС.

Выяснить факт удаления сайта из индекса проще всего вводом в поисковую строку команды: site:домен.com. Она отобразит количество проиндексированных страниц в Google. Если ничего нет, ресурс, скорее всего, попал в бан. Но это утверждение не действительно для новых ресурсов, когда присутствует вероятность, что страницы еще не индексировались и просто надо ждать.

Перечень причин у Яндекса и Google во многом пересекается, хотя формулировка и отличается. Так, оба наказывают сайты со скрытым содержимым, злоупотреблением взаимными ссылками с другими ресурсами. Также выкидывают из индекса домены, перенаправляющие посетителя на другой сайт или страницу, любителей влиять на ранжирование имитацией действий.

Есть еще причины:

1. Клоакинг – попытки подмены контента, отображаемого посетителям и роботам.
2. Накрутка пользовательских факторов – искусственный трафик, псевдо-заявки и т.д.
3. Переспам – излишняя оптимизация текстов и метатегов ключевыми словами.
4. Линкфарминг – разработка сетки сайтов, ссылающихся друг на друга.

Важно учитывать, что бан можно получить за вирус, проникший извне. Часто хостинги ломают и превращают их в спам-сервера, распространяющие компьютерные угрозы. Если не отреагировать на сообщения провайдера и не удалить вредоносный код, его пометят как опасный и «вынесут» из органической выдачи с минимальным шансом вернуться обратно.

Приведенный выше инструмент «site:название сайта» вполне удобен для мониторинга индексации страниц. Правда, только для ресурсов с их небольшим количеством, потому что контролировать вручную тысячи карточек товара интернет-магазина просто нереально. Выдаваемый перечень надо сравнивать с картой релевантности.

И отдельно проверять причину отсутствия в поиске конкретных ссылок. Например, нет ли запрета на индексацию в robots.txt, .htaccess или в настройках CMS. Возможно, проблема возникла из-за хостинг-провайдера, по причине неуплаты владельцем ресурса тарифа на услуги. В идеале объем проиндексированных страниц должен совпадать в обоих поисковых системах.

Как только будет собрана информация о причинах попадания под фильтры-бан требуется провести кардинальное обновление сайта. Сразу убирают битые, некачественные ссылки, переспам, другие причины, способные привести к санкциям. Здесь лучше привлечь целую команду – программиста, копирайтера, оптимизатора, что каждый проверил ресурс в своем направлении.