robots.txt для WordPress

Чтобы Ваш сайт правильно индексировался поисковыми системами, нужно дать специальные указания для роботов, которые осуществляют индексацию сайта. Список правил, по которым роботы должны следовать — находится в файле robots.txt. Этот файл должен находиться в корневой папке сайта WordPress — там же где и папки wp-admin, wp-content, wp-includes, а так же файлы index.php, wp-config.php, wp-login.php и пр.

Файл robots.txt содержит информацию о страницах, которые нельзя индексировать, об основном зеркале сайта, пути к карте сайта (файл sitemap.xml). Файл robots.txt — текстовый файл, создать его можно в самом простом текстовом редакторе — «Блокнот». Для сайта, который находится по адресу http://website.com/ этот файл может выглядеть так:

Символ звездочка, как и при маскировании файлов, означает «для всех». User-agent:* — сообщает, что правила ниже распространяются на всех роботов поисковых систем. Можно настроить правила для каждой поисковой системы отдельно. Вместо звездочки можно тогда использовать: yandex для поисковой системы Яндекс, googlebot — для Google и т.д. Тогда файл robots.txt мог бы выглядеть так:

Команда Disallow запрещает роботам поисковых систем индексировать страницы. Это связано с тем, что бы в поисковой выдаче не выводились страницы, которые связанные с консолью администрирования сайтом. Так же существуют темы или фреймворки, которые для создания одной страницы требуют создания дополнительных служебных страниц, которые как таковые на сайте нигде не используются.
Команда Sitemap: указывает на путь к файлу sitemap.xml. Этот файл так же необходим роботам для качественной индексации сайта. Команда Allow — противоположная по своему смыслу команде Disallow — она разрешает индексировать содержимое.

Итак для сайта http://website.com на CMS WordPress базовый файл robots.txt выглядит так:

Нужно также добавить страницы, которые вы хотите чтоб не индексировались. Как правило, это вспомогательные страницы premium WordPress тем или фреймворков.