Помощь robots.txt для wordpress

[Nikolay18]

Как правильно настроить robots.txt для wordpress
То, что удалось найти в инете.Должен содержать:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

 

[whitewolff]

...

имхо не стоит указывать директорию админки (ну и другие директории тоже) в роботсах, мб с помощью .htaccess закрыть. её наоборот надо переименовать, в коде в путях - поменять на какую-нить константу, и нигде не светить. это то, что знаю наверняка, а в целом - в настройке роботсов не силен.

 

[tatams]

ВП так и так палится кому надо - путями к файлам дезигна.
Так что нормальный Роботс. Только Host: для Яши приделай.

 

[benya]

У меня такой:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /wp-login
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /register.php
Disallow: /tag/
Disallow: /*?
Disallow: /go/*
Disallow: /search/
Disallow: /2009/
Allow: /wp-content/uploads
Host: Для просмотра ссылки Войди или Зарегистрируйся


User-agent: Twiceler
Disallow: /

User-agent: Slurp
Disallow: /

User-agent: msnbot-media
Disallow: /

User-agent: msnbot-news
Disallow: /

User-agent: msnbot-products
Disallow: /

User-agent: ia_archiver
Disallow: /

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
# END XML-SITEMAP-PLUGIN

боты весьма доставучие, были проблемки...

 

[Nikolay18]

ВП так и так палится кому надо - путями к файлам дезигна.
Так что нормальный Роботс. Только Host: для Яши приделай.

Я не профи (иначе не спрашивал бы)КАК приделать Что именно нужно прописать?

 

[yroc]

Как в примере выше:

Host: Для просмотра ссылки Войди или Зарегистрируйся
или
Host: site.ru

Смотря как продвигаешь...

 

[Nikolay18]

Решил закрыть пробелы в знаниях по поводу robots.txt Нашел интересную , а главное понятную статью по теме Для просмотра ссылки Войди или Зарегистрируйся Многое прояснилось.Рекомендую.

 

[MasterMarti]

Не думаю что он универсален и идеален, но думаю послужит многим хорошей отправной точкой. robots.txt:

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию категорий
Disallow: /category*
# запрещаем индексацию архивов по датам. Прописываем вручную актуальные года
Disallow: /2008*
Disallow: /2009*
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads
# прописываем директиву Host
Host: mysite.ru

User-agent: Googlebot-Image
Disallow:
Allow: /*
# разрешаем индексировать изображения

User-agent: YandexBlog
Disallow:
Allow: /*
# разрешаем индексировать rss-ленту

Кстати, хочу заметить, что конструкция для Яндекса отличается. Дело в том, что на страницах архива в моем случае прописан тег canonical, поэтому в первом случае архивы не закрываются, а для Яндекса - закрываются. Чтобы избежать дублей.

Также данный роботс сделан так, чтобы избежать дублей. Если надо больше страниц в индексе например для сапы - то думаем что закрывать, а что нет...

PS. Данный файл использую на своих блогах, валидность и правильность проверял в панели веб-мастера, добиваясь нужного мне результата. Поэтому если что-то не устраивает — проверяйте и дописывайте свое.

PPS. Я еще не матерый сеошник, посему где-то могу ошибаться. С robots.txt не ошибается тот, у кого такого файла вообще нет)

 

[crazyyy]

Ещё добавить

User-Agent: *
Crawl-Delay: 10

User-Agent: *
sitemap: sitemap.xml

 

[Nikolay18]

Ещё добавить

User-Agent: *
Crawl-Delay: 10
User-Agent: *
sitemap: sitemap.xml

А можешь в комментах обьяснить для чего это дополнение (просто чтобы было понятно для ламеров таких как я)