Что делать если сайт не индексируется

Начнем с того, что индексация сайта и наличие его в поиске совсем разные вещи...

Что такое индексация сайта

Индексация сайта - обработка страниц сайта поисковым роботом для включения возможности находить данные через поиск.

Индексация гарантирует получение данных с сайта поисковиком, но не гарантирует присутствие их в поиске. Сайт считается приндексированным, если:

1. Поисковик знает о его существовании.

2. Поисковый робот прошел по страницам сайта, прочел их содержимое и занес его в свои базы данных.

Поисковая выдача формируется из базы данных поисковика по всем проиндексированным сайтам в интернете. И присутствие сайта в выдаче уже совсем другой, отличный от индексации, вопрос...

Что такое присутствие сайта в поиске

Сайт присутствует в поиске, если на него можно добраться из результатов поисковой строки.

Другими словами, если вбить в строку поиска Яндекса или Гугла прямой адрес сайта, то в результатах поиска должна быть ссылка на сайт. Через добавление "site:" к адресу выведутся все страницы, которые присутствуют в поиске. Возможно, будет только главная.

присутствие сайта в поисковой выдаче

Уточню, что присутствие в выдаче сайта не означает, что его могут найти по ключевым запросам обычные пользователи сети интернет. Только те, кто знает адрес сайта сможет его найти таким образов. Продвижение ключевых запросов это уже совсем другая тема и начинать её нужно с семантического ядра проекта...

 

Время между индексацией сайта поисковиком до появления его в выдаче может варьироваться от нескольких часов (очень редко бывает) до нескольких дней (обычно около десяти). Время появления в поисковой выдаче сайчас определяется популярностью сайта у пользователей. Создали сайт на который сразу будут заходить десятки и сотни пользователей - поисковики моментально отреагируют и вне очереди проиндексируют и в выдачу поисковую включат. Типичный новый сайт в Яндексе индексируется после регистрации в вебматере через 3 недели, а в поисковую выдачу попадает через 2 недели после индексации.

Проблемы с индексацией

Проверяем индексацию

У нас две основные системы поиска в России - Яндекс и Гугл. Можно ориентироваться по Яндексу - если он проиндексировал, то и остальные поисковики проделают это без проблем. 

Для начала нужно проверить, а есть ли проблема или мы просто так думаем что "всё плохо".

Никакие сторонние инструменты гарантировано правдивую информацию нам не скажут, так как она есть только у самого поисковика и уже сервисы запрашивают у него.

Если "по быстрому" проверить. Сервис XTOOL (сбоку окошко есть) - вбиваете адрес сайта и смотрите результат в "индексация в Яндексе". Данные в сервис запаздывают на неделю где-то.

Проверяем капитально. Для этого регистрируем сайт в сервисах Яндекс. Метрика и Яндекс.Вебмастер. Из метрики понятно будет кто и как по сайту ходит, плюс она дополнительно передает информацию в вебмастер. Факт передачи информации важен хотя бы потому, что быстробот посылается поисковиком из учета "на страницу приходят читатели, а я про неё не знаю".

После регистрации в Яндекс.Вебмастер идем в параметры сайта и смотрим общую информацию по сайту. Если сайт не проиндексирован, то там будет соответствующая надпись и с пометкой о причине не индексации. Так же будут указаны ориентировочные сроки индексации, если нет ошибок.

Аналогичные действия можно провести в вебмастере Гугла и посмотреть результаты индексации сайта.

Исправляем проблемы индексации

Указываю причину и куда смотреть, чтобы её исправить.

Прежде чем начать искать причину сначала идем в Яндекс.Вебмастер, переходим в параметры сайта и в пункт "Проверить URL" вводим адрес нашего сайта. В двух вариантах с www и без. И смотрим что он нам ответит. Варианты ответа:

- Страница роботу не известна.

- Страница известна, но не проиндексирована.

- Ошибка доступа или страница закрыта от индексирования.

Если сайт новый, то после его регистрации в Яндекс.Вебмастер просто ждем 3 недели. И после этого начинаем суетиться, если нет индексации.

Важный момент. Если есть даже одна страница в индексе, то сайт индексируетса. Остальные страницы или отсеялись фильтрами поисковика или запрещены к индексации. Это не проблема индексации, тут на 99% проблема в качестве сайтов.

1. Запрет индексации.

- Проверяем настройки системы управления сайтом. Например, вордпрес по умолчанию ставит запрет сайта на индексацию. Проверяем галочки. Запрета быть не должно.

- Настройки индексации хранятся в файле robots.txt который находится в корне сайта. Подробно в справке Яндекса. В принципе можно удалить его содержимое и беды не будет.

- Все страницы закрыты тегом noindex. Актуально для Яндекса. Скорее всего ошибка при написании сайта. Где-нибудь в начале страницы тег открывается и не закрывается. Проверяем код страницы. Удаляем тег.

2. Ошибки перенаправления.

Робот работает согласно инструкциям сайта. При заходе на сайт он четко следует правилам редиректа, например 301 сообщение о переезде материала на новый адрес. Ошибка не распространены, так как и пользователи приходящие на сайт так же получают это перенаправление и, естественно, попадают на другие ресурсы. Ресурсы, с которых идет перенаправление не индексируются. Обычно настройки хранятся в файле .htaccess

Тут же проверяем сайт у нас с www или без. Сайт обычно склаивается и идет индексация только по одному адресу (с www или без). Возможно проверяете на индексацию один сайт, а индексируется другой. Смотрите в параметрах "настройки индексирования" - "главное зеркало".

3. Ошибки доступа.

Разновидность ошибок перенаправления. Это ошибки уровня доступа. Смотрите параметры папок и разрешение на чтение. Обычно ошибки и на уровне пользователей и на уровне роботов.

Еще раз призываю не путать индексацию сайта и ранжирование сайта в поисковой выдаче. Даже на авторитетных ресурсах эти понятия отождествляют.

Про отсутствие сайта в поисковой выдаче поговорим в следующий раз.

Продолжение и развитие читайте в статье как сообщить яндексу о новом сайте. В ней приведены работающие инструменты для ускорения индексации.

Принудительная отправка сайта в индекс

Нашел сервис, который за считанные минуты практически гарантированно вгоняет указанную страницу в индекс и выдачу Яндекса. В нашем случае нужно отправить в жерло Яндекса главную страницу и несколько свежих материалом. После чего наблюдать как поисковик будет реагировать.

Стоимость гарантированной индексации одной страницы 2 рубля. Время индеексации от 10 минут до 14 дней. Зависит от наличия фильтров к Вашему сайту со стороны Яндекса. Мой опыт говорит, что статьи в выдаче уже через 30 минут. Подробно описал в этой статье. В случае не попадания в индекс деньги будут возвращены (тариф с проверкой, как раз за 2 рубля).

К сожалению, данный сервис работает только с Яндексом.

Автор статьи: 
Рейтинг: 
Средняя: 5 (3 оценок)
Поделитесь статьей в социальных сетях.
На главную вернуться.