Делаем правильный robots.txt для Вашего блога на WordPress. Пример robots.txt

Здравствуйте! Спасибо, что посетили мой nooboblog.ru. Все роботы поисковых систем, когда заходят на сайт или блог в первую очередь пытаются найти файл robots.txt. robots.txt — текстовый файл, находящийся в корне сайта, в котором для роботов поисковых систем записываются определенные инструкции.

Делаем правильный robots.txt для блога на WordPress.

Эти определенные инструкции или так сказать условия позволяют роботам запрещать к индексации некоторые страницы или разделы на сайте, указывать путь к карте сайта, указывать правильное зеркало домена и т.д.

Для того чтобы создать файл robots.txt для WordPress, нужен чистый файл с расширением txt. Можно сделать файл robots.txt без содержимого внутри файла, но этого я Вам не советую делать, т.к. определенные запреты к индексированию все-таки необходимо сделать, например всего того, что не относится к Вашим статьям, т.е. контенту.

Чаще, в блогах, сделанных на WordPress, можно увидеть файл robots.txt автоматически созданным плагином Google XML Sitemaps, в котором имеется лишь ссылка на путь карты сайта для Вашего блога.

Итак, напишу здесь robots.txt, с моей точки зрения, правильный robots.txt для своего блога на WordPress http://nooboblog.ru/

Тут как бы уже Вам уже решать, использовать этот robots.txt для WordPress в Ваших сайтах и блогах, естественно изменив host и sitemap, делать свой robots.txt и использовать его на своем блоге (сайте) или же не использовать robots.txt совсем:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /feed/
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://nooboblog.ru/sitemap.xml.gz
Sitemap: http://nooboblog.ru/sitemap.xml

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /feed/
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Host: nooboblog.ru

Вот собственно и все. Вот такой у меня robots.txt, который я использую на своем блоге на WordPress. Возможно, он когда-нибудь и изменится, но меня пока устраивает этот вариант. Удачи! Увидимся на nooboblog.ru.

Максим

Получать обновления на e-mail

Размещено в Просто SEO · Метки: ,

Комментирование закрыто.