[Инфо] Идеальный robots.txt для Wordpress

Тема в разделе "Wordpress", создана пользователем darmoid, 15 апр 2010.

Статус темы:
Закрыта.
Модераторы: Sorcus
  1. darmoid

    darmoid Киллер

    Регистр.:
    9 мар 2007
    Сообщения:
    372
    Симпатии:
    115
    Давайте порассуждаем на эту тему. Интересует какие robots.txt в этой цмс используете Вы.
    Вот мой:
    Код:
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Host: www.yourdomain.ru
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Sitemap: http://yourdomain.ru/sitemap.xml
    
     
  2. waldy

    waldy Писатель

    Регистр.:
    14 дек 2009
    Сообщения:
    4
    Симпатии:
    0
    А закрывать разделы - действительно важно? Является ли это признаком хорошего тона или как-то помогает?
     
  3. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    826
    Симпатии:
    480
    И сразу два вопроса:
    1. На зачем
    PHP:
    Disallow: /wp-content/plugins
    Disallow
    : /wp-content/cache
    Disallow
    : /wp-content/themes
    если достаточно
    PHP:
    Disallow: /wp-content/
    вы тогда уже и папку с картинками закройте, чего уж там.
    2. На зачем дублировать все те же инструкции для Тындекса?
     
  4. Rap3r

    Rap3r Создатель

    Регистр.:
    17 ноя 2007
    Сообщения:
    34
    Симпатии:
    2
    Помимо дефолтного роботса, надо еще и свои директории закрывать (если требуется). А если все дефолтно и созданных Вами директорий нет, то и роботс дефолтный сгодится. ИМХО конечно же.
    Приходилось работать с не малым кол-вом WP блогов, везде хватало дефолтного.
    Мой совет, если не знаете, что делаете (всмысле правка роботса), то лучше все оставить как есть
     
  5. Gtvar

    Gtvar Создатель

    Регистр.:
    25 мар 2010
    Сообщения:
    15
    Симпатии:
    0
    чтобы закрыть всю директорию нужно вконце добавить "/":
    Код:
    Disallow: /wp-admin[COLOR="Red"]/[/COLOR]
     
  6. WINTERSPROWS

    WINTERSPROWS Постоялец

    Регистр.:
    22 мар 2010
    Сообщения:
    149
    Симпатии:
    93
    а вот мой
    Код:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Allow: /wp-content/uploads
    
    User-agent: Yandex
    Host: site.ru
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    
    User-agent: Googlebot-Image
    Disallow: /wp-includes/
    Вычитал хорошую статью на каком то унылом сайте, и по прочитанному сделал себе robots.txt
    сайт хорошо интексируется :)
     
  7. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    826
    Симпатии:
    480
    Опять таки, вместо
    PHP:
    Disallow: /wp-content/plugins
    Disallow
    : /wp-content/cache
    Disallow
    : /wp-content/themes
    достаточно
    PHP:
    Disallow: /wp-content/
    Непонятно зачем персональные инструкции для Тындекса, если они ничем не отличаются.
    И конечно же радует бессмысленный запрет для Googlebot-Image.
     
  8. STsoldier

    STsoldier Постоялец

    Регистр.:
    9 дек 2008
    Сообщения:
    100
    Симпатии:
    10
    Тут и рассуждать то нечего, не философия :) Все должно быть четко.
    Необязательно. Да, возможно есть стандарты, но роботы понимают и с слэшом и без. Пишу без /, пока.
    Поясняю. Для Гугла в директиве Sitemap путь к xml карте указывается без http.
    Для яндекса тоже самое только с http.
    Я вас всех обманул с умным видом:) У Яндекса есть директива Host, которую Гугл не понимает.
    Вот отсюда и дублирование инструкций для роботов.
    Пользуйтесь:
    PHP:
    User-agentYandex
    Disallow
    : /author #закрываем авторов с их дублированным контентом
    Disallow: /tag # тэги
    Disallow: /wp-includes # системные штучки
    Disallow: */feed # ленты. "*" потому, что на блогах часто бывает вот такие адреса http://example.com/post.htm/feed
    Disallow: */trackback # трэкбэки. Читаем строку выше
    Disallow: /xmlrpc.php # опять системные штучки
    Disallow: /wp-login.php # -||-
    Disallow: /?s=* # страницы с результатами поиска
    Disallow: */print # для тех у кого установлен wp-print
    Disallow: */page# закрываем все возможные страницы, где опять-таки дублируется контент
    Sitemaphttp://example.com/sitemap.xml
    Hostexample.com
    User
    -agentGoogle
    Disallow
    : /author
    Disallow
    : /tag
    Disallow
    : /wp-includes
    Disallow
    : */feed
    Disallow
    : */trackback
    Disallow
    : /xmlrpc.php
    Disallow
    : /wp-login.php
    Disallow
    : /?s=*
    Disallow: */print
    Disallow: */page*
    Sitemaphttp://example.com/sitemap.xml
    User-agent: * # не забываем про остальных пауков
    Disallow: /author
    Disallow
    : /tag
    Disallow
    : /wp-includes
    Disallow
    : */feed
    Disallow
    : */trackback
    Disallow
    : /xmlrpc.php
    Disallow
    : /wp-login.php
    Disallow
    : /?s=*
    Disallow: */print
    Disallow: */page*
    Комменты для тех кто не в теме. Добавлю еще, что знак подстановки * понимают все основные роботы.
     
    miha687 нравится это.
  9. BadMotherFucker

    BadMotherFucker Модератор (Core Team)

    Регистр.:
    13 ноя 2009
    Сообщения:
    786
    Симпатии:
    570
    Мне вот интересно, откуда вы вообще такой бред берете!? Не надо писать ерунды.

    Для Google (а также для Ask, Bing, Yahoo... etc) путь к xml карте сайта прописывается с http

    HTML:
    Sitemap: http://www.example.tld/sitemap.xml
     
    STsoldier нравится это.
  10. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    826
    Симпатии:
    480
    :crazy: это вы ребятам из гугла расскажите, а то они не в курсе
    http://www.google.com/robots.txt
     
Статус темы:
Закрыта.