Проверить открытость сайта к индексации

Сайт сделан и запущен. Теперь приглашаем посетителей на него. Для многих желанны клиенты из поисковой выдачи. В этом материале расскажу как убедиться, что сайт доступен для поисковых ботов и они его смогут нормально обработать.

Проверка открытости сайта для индексации Яндексом

Регистрируем сайт в вебмастере Яндекса

После регистрации нам становятся доступны функции проверки сайта со стороны Яндекса. То есть мы можем увидеть как Яндекс смотрит на наш сайт.

Для нового сайта многие пункты меню будут без информации. Но нам важно сейчас другое. Убедиться, что бот поисковика получит правильный отзыв от сайта.

Проверяем текущую индексацию

Идем в меню сайта и жмем "проверить URL". Проверяем главную страницу и какую-либо статью. Получится примерно так

проверить адрес на индекс в яндексе

Тут нажимем на "готово" и смотрим результат. Достаточно увидеть такую надпись

Последний обход роботом

Дата загрузки: 12.06.2015 17:00:01
HTTP-статус: ОК (200)
что нам говорит, что робот яндекса нормально прочел страницу. Проблем с индексацией нет.
При надписи: "данный адрес не известен роботу яндекса" переходим к следующему шагу.
 

Проверяем адрес на исключение из индекса

Идем в "настройка индексирования" - "Анализ robots.txt". Добавляем наши пару адресов в список и смотрим результат. Статус "разрешен" говорит, что ограничений на индексацию в файле не стоит. Файл robots.txt лежит в корне сайта. В принципе его можно просто очистить, если проблема в нем. После удаления содержимого - сохраняем - проверяем.

Таким образом отсекаем возможную причину запрета индексации.

Проверяем запрещающие метатеги на страницах сайта

Тут лучше всего не надеяться на движок сайта и смотреть уже сгенерированный код страницы. Открываем страницу сайта. Правую кнопку мыши - "просмотреть код страницы". Ищем метатеги с значениями атрибутов "nofollow", "none" и "noindex" для meta name = "robots".

Проверяем запрет на индексацию в файле .htaccess

Файл лежит в корневой директории сайта. Смотрим через текстовый редактор. Прямого запрета в нем сделать нельзя, но возможны перенаправления робота. Это можно смотреть в последнюю очередь, если робот яндекса упорно не захочет смотреть на ваш сайт.

После выполнения всех действий на 90% можно сказать, что сайт открыт к индексации. Подождите пару недель и проверьте ответ от яндекса через "проверить URL" в вебмастере. Для гарантированного результата рекомендую прогнать пару страниц сайта через сервис гетботгуру. По ссылки материал о нем. Стартового бесплатного пакета вполне хватит для этого.

Проверка открытости сайта для индексации Гуглом

Добавляем сайт в вебмастер гугла. В нем проверяем:

1. Индекс Google - Статус индексирования. Далее Сканирование - Статистика сканирования. Если страницы есть, то всё нормально.

2. Сканирование - посмотреть как гуглбот. Вводим адреса и смотрим ответ от сервиса. Для удобства можно использовать "получить и отобразить".

Далее проверяем как и в случае с Яндексом. Те же файлы и те же настройки.

Самый лучший способ узнать о доступности к индексу это создать фид и самому подписаться на него. Про него писал подробно тут http://drboglav.ru/content/chto-takoe-fid-feed-i-kak-s-nim-rabotat . Создаем новую страницу и к вечеру получаем в письме информацию о ней, если индексация открыта. Инструмент бесплатный и позволяет гарантировать моментальную практически индексацию гуглом.

Владелец сайта предпочёл скрыть описание страницы

Из комментариев пришел вопрос, что означает данная надпись. Она появляется, если на страницы отусутствует тег Title - заголовок страницы или страница запрещена к индексации. Вообще там же на странице ниже должно быть пояснение по этой проблеме или в справке. Раз мы проверили и убедились в открытости нашего сайта, то причина в теге (в его отсутствии).

Посмотреть его наличие очень просто. Открываем страницу. Правую кнопку мыши на любом месте - посмотреть код страницы. Будет что-то типа этого:

почему пишет владелец сайта скрыл описание страницы

Как исправить. Написать заголовки страницы. Это или в движке пункты "о сайте" или "конфигурация". Можно вручную изменить код страницы, если CMS не используете. Обычно этот тег формируется из заголовка сайта / статьи / публикации.

После изменения нужно будет дождаться пока яндекс переиндексирует страницу. На сегодняшний день этот процесс занимает примерно месяц для большинства сайтов. Ускорить можно, если на страницу появится несколько ссылок с разных источников. Если сайт новый и такая проблема с главной страницей можно купить ТИЦ в сервисе тиц.гуру. Свой эксперимент по использованию данного сервиса читайте по данной ссылке. При запуске проставляются ссылки на главную (без анкора, что важно при нашествии минусинска и пингвина), после чего боты яндекса и гугла её быстрее перечитвают. Правда это платный способ.

Так же данное сообщение указывает на плохо структурированный и плохо читаемый яндексом сайт. Поэтому советую:

1. Прописать хотя бы основные метатеги. Они укажут основную информацию о сайте. Пример:

<meta name="description" content="Что такое ТИЦ сайта. Как поднять ТИЦ сайта. Для чего ТИЦ сайту." />
<meta name="keywords" content="Как поднять ТИЦ сайта" />
<link rel="canonical" href="http://linksfree.ru/content/kak-podnyat-tic-sayta" />
<title>Как поднять ТИЦ сайта</title>

В идеале сделать разметку.

2. Наполнить страницу текстовым содержанием. Даже графические и флеш сайты нуждаются в дополнительной информации. Это, например, к какринке прописанный тег Alt

Например: 

<a href="/" title="Главная" rel="home" id="logo"> <img src="http://linksfree.ru/tmp/dracon_5_2.png" alt="Главная" />

P.S. По последнему пункту информация взята из справки яндекса и нескольких сайтов в интернете. Поскольку у меня таких сайтов нет, то проверить "на себе" не могу. Просьба в комментариях отпишите по этому вопросу. Информация помогла решить проблему?

 

Есть замечания и предложения - пишите комментарии. Публикуйте ссылку на странице в соцсетях.

Автор статьи: 
Рейтинг: 
Средняя: 5 (3 оценок)

Комментарии

не работает форма, не могу проверить сайт на индексацию - babycome.ru

Судя по ответу в поиске "babycome.ru Владелец сайта предпочёл скрыть описание страницы." Где-то стоит запрет на индексацию сайта или проблема в теге Title и в тегах описания страницы. Добавьте их и дождитесь переиндексации и обновления базы яндекса. Переиндексация занимает 2 недели и 2 недели занимает обновление базы. То есть через 1 месяц только проблема исчезнет.

У меня сайт автосервиса, я правильно понял, что HTTP-статус: (200) означает, что все нормально?

Это означает, что страница доступна. Обязательное требование. Открытость определяется и другими параметрами.

То есть страница может быть доступна, но всё же запрещена к индексации, например, через тег noindex

Добавить комментарий

Filtered HTML

  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.
  • Разрешённые HTML-теги: <a> <em> <strong> <cite> <blockquote> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • Строки и параграфы переносятся автоматически.

Plain text

  • HTML-теги не обрабатываются и показываются как обычный текст
  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.
  • Строки и параграфы переносятся автоматически.
CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
7 + 1 =
Решите эту простую математическую задачу и введите результат. Например, для 1+3, введите 4.

Поделитесь статьей в социальных сетях.
На главную вернуться.