файл robots.txt управляет индексацией веб-сайта, указывает поисковым системам какие части веб-сайта должны быть в поиске, а какие нет. Благодаря этому из поиска исключаются дубли страничек, и технические части веб-сайта, и остаётся лишь нужный контент.

Если в robots.txt совершенна ошибка, то веб-сайт будет индексироваться некорректно. Естественно, это приведёт к нехороший посещаемости, в наилучшем случае. В худшем – веб-сайт может просто стопроцентно быть удалён их поиска.

В данной статье мы поведаем о том, какие бывают нередкие ошибки в robots.txt. Проверьте, нет ли таковых ошибок на вашем веб-сайте.

Нередкие ошибки в robots.txt

Итак, довольно нередко в robots.txt употребляется некорректные, спутанные значении директив.

Неверный вариант:

User-agent: /page

Disallow: Гугл

Директива User-agent обязана демонстрировать имя поискового бота, а Disallow (либо Allow) – указывает часть веб-сайта, к которой применяется правило.

Верный вариант:

User-agent: Гугл

Disallow: /page

Иная ошибка в robots.txt заключается в использовании нескольких частей веб-сайта в одной директиве.

Неверный вариант:

Disallow: /wp-admin/ /wp-content/ wp-config.php

Некие ещё добавляют меж частями веб-сайта запятые, да и это тоже некорректно. В правильном варианте, любая часть веб-сайта обязана быть в отдельной директиве, даже если к ним промаются однообразное, запрещающее либо разрешающее правила.

Верный вариант:

Disallow: /wp-admin/

Здесь нужно вставить ваш рекламный код с рекламной площадки. Рекомендуемая ширена 728 пикселей

Disallow: /wp-content/

Disallow: wp-config.php

Последующая частая ошибка, которая в особенности нередко случается у новичков – это неверное имя файла robots.txt. Даже если снутри будет всё изготовлено правильно, неверное имя не дозволит поисковикам прочитать файл.

Правильное имя файла – robots.txt. Конкретно так, и никак по другому, и лишь с расширением .txt.

Прогуливаются споры о том, как верно заполнять директиву головного зеркала hosts – указывать там протокол http (либо https) либо нет.

Не верный вариант:

Host: https://example.ru

И, всё-таки, с указанием протокола это не верно. Не критично, но поисковики советуют без него.

Не верный вариант:

Host: example.ru

Если вы желаете заблокировать для индексации все странички, которые находятся в одной папке, то, наверное для вас придёт в голову таковой вариант:

Неверный вариант:

Disallow: /Page/1

Disallow: /page/2

Disallow: /page/3

Недозволено сказать, что это некорректно, но это не правильно, лучше будет создать так, как ниже.

Верный вариант:

Disallow: /Page/

Чтоб не повторять нередкие ошибки в robots.txt опосля его сотворения инспектируйте файл в кабинетах веб-мастера Yandex’а и Гугл.

Тут мы рассказываем о том, как создать robots.txt для WordPres.