Robots для wordpress

Как сделать правильный robots.txt для wordpress?

Здравствуйте, друзья!

В последнее время, читая разные блоги, я часто вижу, что очень многие пользователи интернет, а также блогеры и те кто ведут свои сайты на wordpress, задают вопрос: «Как сделать правильный robots.txt для wordpress?»

Правильный robots, вообще понятие относительное, потому что каждый пользователь считает что именно он сделал правильно. Я не претендую на истину в последней инстанции и поэтому прошу не судить строго.

Этот файл ограничивает доступ к страницам, которые вы не хотите, чтобы попали в индекс поисковых систем. Robots для wordpress делают в основном чтоб закрыть от индексации дубли страниц и системные файлы движка. Если у вас нет такого файла, обязательно создайте его и залейте в корень сайта.

Закрывать такие страницы можно конечно соответствующими плагинами, но мое мнение, если есть возможность сделать это без плагинов, значит ее нужно использовать. Мы закроем страницы с помощью мета тега <meta name=»robots» content=»noindex»>.

Выполнить эту задачу нам поможет одна функция, которую мы добавим в файл functions.php вашей текущей темы (шаблона) оформления. В этой функции есть возможность вам самим определить что закрывать от индексации, а что оставить. Не забудьте сделать резервную копию файла, чтобы если что-то пойдет не так у вас была возможность вернуть все в исходное положение.

Итак, открываем файл functions.php в редакторе и вставляем в него, желательно в самый верх вот эту функцию:

function my_meta_noindex () {
		if (
			//is_archive() OR // Просмотр любых страниц архива - за месяц, за год, по категориям, по авторам, и т.д.
			//is_category() OR // Просмотр архива статей по категориям
			is_author() OR // Просмотр архива статей по авторам
			is_date() OR // Просмотр архива статей по любым датам
			//is_day() OR // Просмотр архива статей по дням
			//is_month() OR // Просмотр архива статей по месяцам
			//is_year() OR // Просмотр архива статей по годам
			is_tag() OR // Просмотр архива статей по тегам
			is_tax() OR // Просмотр архива статей по таксономии. Что это?
			//is_front_page() OR // Просмотр главной страницы сайта. То, что отображается на главной странице сайта http://site.ru/ См. в админке "Настройки" - "Чтение". Т.е. если в качестве главной выбрана статическая страница, то при просмотре главной страницы сайта и этой статической страницы, будет возвращено значение функции true.
			//is_home() OR // Главная страница блога. Та страница, на котороый выводятся последние записи блога. У меня, например это http://seosozdaniesaita.ru. См. в админке "Настройки" - "Чтение". Т.е. если в качестве страницы для вывода записей блога выбрана статическая страница, то при просмотре этой страницы, будет возвращено значение функции true.
			//is_singular() OR // Просмотр любых типов записей, включая одиночные посты, одиночные страницы, страницы прикрепленных файлов и т.д.
			//is_single() OR // Просмотр любого одиночного поста. Работает для любого типа постов, кроме страниц просмотра прикрепленных файлов и отдельных одиночных страниц
			//is_page() OR // Просмотр отдельной одиночной страницы (это то, что в разделе "Страницы" в админке)
			is_attachment() OR // Страницы просмотра прикрепленных файлов
			is_paged() // Все и любые страницы пагинации
		) {echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";}
	}
	add_action('wp_head', 'my_meta_noindex', 3); // добавляем свой noindex,nofollow в head

Возле каждой строчки есть описание, за что отвечает конкретная функция. Сейчас они закомментированы. Для того чтоб включить правило, которое вам необходимо, просто удалите двойной слеш перед этим правилом. Правила можно комбинировать. Например чтоб закрыть страницы пагинации в архивах, категориях или авторах, а основные оставить, правлило будет такое: ( is_archive() && is_paged() ) OR

Ну а сам robots.txt для wordpress выглядит вот так:

User-Agent: *
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Host: site.ru
Sitemap: http://seosozdaniesaita.ru/sitemap.xml

После внесения изменений не забудьте исправить свой файл на хостинге сайта! А также посмотреть на предмет дублирования этих правил в плагинах и отключить их, или не включать их в данной функции! Пробуйте, но не забывайте проверять результат ваших действий, чтоб не закрыть весь сайт от индексации! Помните, что все, что вы делаете – вы делаете на свой страх и риск!

Удачи Вам и процветания!