Тонкая SEO настройка WordPress: robots, sitemap
Система WordPress изначально создавалась для блогов, но в скором времени превратилась в мощный инструмент по управлению контентом не только блогов, но и различных сайтов.
Общие сведения про robots txt под wordpress
Файл robots txt указывает поисковым роботам на то, что нужно в вашем сайте проиндексировать, а что пропустить. Грамотно созданный robots txt для wordpress поможет избежать проблем с понижением рейтинга в поисковой выдаче при запросе.
Как создавать robots txt
Файл является простым текстовым документом, который вписывается к WordPress-сайту. Структура текста представляет собой набор следующих строк:
- User-agent – задает имя поисковой системы
- Disallow – указывает запрещенные для индексации страницы
- Sitemap – путь к карте сайта
- Host – используется только Яндексом
- User-agent
Строка используется для задания поисковой системы. Указав Yahoo или * после двоеточия, получим соответственно выполнение нижеследующих команд только для поисковой машины Yahoo или же для всех поисковых роботов. Целесообразно сначала использовать название определенного поискового робота, а уж затем задавать параметры для всех остальных поисковиков.
Allow – разрешительный параметр
Является совсем необязательной, указывает на то, что роботу нужно посетить на сайте. Некоторые поисковики не воспринимают эту директиву, поэтому для оптимизации robots txt лучше ее совсем не использовать.
Disallow – запрет на индексацию
Указывает на разделы или подразделы, которые не нужно индексировать – Disallow: /feed. Оптимальным для WordPress считается следующие параметры команды Disallow, указанные после двоеточия:
- /wp-admin/
- /wp-includes/
- /wp-trackback
- /wp-feed
- /wp-comments
- /wp-content/themes
- /feed
- /trackback
- /cgi-bin
- /comments
- Sitemap
Указывает карту сайта. Самым популярным плагином для WordPress является Google XML Sitemaps. Этот плагин автоматически создаст файл sitemap.xml и поможет поисковым роботам быстрее проиндексировать сайт. Установка в wordpress sitemap приложения довольна проста. Достаточно скопировать google sitemap generator в директорию /wp-content/plugins. Во вкладке «плагины» этот элемент активируется. До создания карты производится настройка всех параметров, которые предлагает sitemap.
Host
Эта команда используется в поисковых машинах Google и Яндекс. Она указывает на основное зеркало сайта. Если у сайта не имеется зеркал, то данную команду стоит применить для задания правильного написания имени сайта.
