Ошибки на сайте www.duma.ru
На сайте www.duma.ru файл robots.txt выглядит следующим образом:
# http://www.duma.ru/robots.txt
# Disallow: /
User-agent: *
Disallow: /
Данный код запрещает поисковым системам индексировать весь сайт www.duma.ru
Из-за неправильного фала robots.txt сохранённая копия сайта www.duma.ru в поисковой системе Яндекс выглядит следующим образом:
Как видите, сохранённая копия совершенно пустая. Соответственно внутренняя релевантность полностью отсутствует.
В поисковой системе Яндекс сайт не проиндексирован:
По навигационному запросу "duma.ru" на первых позициях находятся совершенно другие сайты.
В Google сайт www.duma.ru, аналогично Яндекс, представлен без сохранённой копии:
Неправильно составленный robots.txt препятствует индексации сайта поисковыми системами. Это очень сильно мешает привлечению на сайт новых пользователей, а следовательно ставит под угрозу само существование сайта в Интернет. Если пользователи не смогут найти сайт через поисковую систему, то зачем само существование данного сайта в открытом доступе?
К сожалению, таких случаев много... но об этом следующий пост.