[Помогите] robots.txt для wordpress

Тема в разделе "Wordpress", создана пользователем Nikolay18, 9 окт 2009.

Статус темы:
Закрыта.
Модераторы: DzSoft, Sorcus
  1. Nikolay18

    Nikolay18 Постоялец

    Регистр.:
    20 дек 2008
    Сообщения:
    126
    Симпатии:
    27
    Как правильно настроить robots.txt для wordpress
    То, что удалось найти в инете.Должен содержать:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads

    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*

    # Internet Archiver Wayback Machine
    User-agent: ia_archiver
    Disallow: /

    # digg mirror
    User-agent: duggmirror
    Disallow: /

    Sitemap: Перейти по ссылке

    User-agent: Yandex
    Crawl-delay: 5

    Disallow: /tag
     
  2. whitewolff

    whitewolff Лимонадный Джо :)

    Регистр.:
    29 май 2007
    Сообщения:
    168
    Симпатии:
    33
    имхо не стоит указывать директорию админки (ну и другие директории тоже) в роботсах, мб с помощью .htaccess закрыть. её наоборот надо переименовать, в коде в путях - поменять на какую-нить константу, и нигде не светить. это то, что знаю наверняка, а в целом - в настройке роботсов не силен.
     
  3. tatams

    tatams

    Регистр.:
    15 май 2009
    Сообщения:
    501
    Симпатии:
    84
    ВП так и так палится кому надо - путями к файлам дезигна.
    Так что нормальный Роботс. Только Host: для Яши приделай.
     
  4. benya

    benya

    Регистр.:
    17 июл 2008
    Сообщения:
    155
    Симпатии:
    38
    У меня такой:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /wp-login
    Disallow: /xmlrpc.php
    Disallow: /wp-login.php
    Disallow: /register.php
    Disallow: /tag/
    Disallow: /*?
    Disallow: /go/*
    Disallow: /search/
    Disallow: /2009/
    Allow: /wp-content/uploads
    Host: Перейти по ссылке


    User-agent: Twiceler
    Disallow: /

    User-agent: Slurp
    Disallow: /

    User-agent: msnbot-media
    Disallow: /

    User-agent: msnbot-news
    Disallow: /

    User-agent: msnbot-products
    Disallow: /

    User-agent: ia_archiver
    Disallow: /

    # BEGIN XML-SITEMAP-PLUGIN
    Sitemap: Перейти по ссылке
    # END XML-SITEMAP-PLUGIN

    боты весьма доставучие, были проблемки... :(
     
  5. Nikolay18

    Nikolay18 Постоялец

    Регистр.:
    20 дек 2008
    Сообщения:
    126
    Симпатии:
    27
    Я не профи (иначе не спрашивал бы)КАК приделать Что именно нужно прописать?
     
  6. yroc

    yroc

    Регистр.:
    13 мар 2007
    Сообщения:
    174
    Симпатии:
    45
  7. Nikolay18

    Nikolay18 Постоялец

    Регистр.:
    20 дек 2008
    Сообщения:
    126
    Симпатии:
    27
    Решил закрыть пробелы в знаниях по поводу robots.txt Нашел интересную , а главное понятную статью по теме Перейти по ссылке Многое прояснилось.Рекомендую.
     
  8. MasterMarti

    MasterMarti Постоялец

    Регистр.:
    6 июл 2008
    Сообщения:
    104
    Симпатии:
    44
    Не думаю что он универсален и идеален, но думаю послужит многим хорошей отправной точкой. robots.txt:


    Кстати, хочу заметить, что конструкция для Яндекса отличается. Дело в том, что на страницах архива в моем случае прописан тег canonical, поэтому в первом случае архивы не закрываются, а для Яндекса - закрываются. Чтобы избежать дублей.

    Также данный роботс сделан так, чтобы избежать дублей. Если надо больше страниц в индексе например для сапы - то думаем что закрывать, а что нет...

    PS. Данный файл использую на своих блогах, валидность и правильность проверял в панели веб-мастера, добиваясь нужного мне результата. Поэтому если что-то не устраивает — проверяйте и дописывайте свое.

    PPS. Я еще не матерый сеошник, посему где-то могу ошибаться. С robots.txt не ошибается тот, у кого такого файла вообще нет)
     
    Nikolay18 и crazyyy нравится это.
  9. crazyyy

    crazyyy

    Регистр.:
    26 ноя 2007
    Сообщения:
    174
    Симпатии:
    149
    Ещё добавить

    Код:
    User-Agent: *
    Crawl-Delay: 10
    
    User-Agent: *
    sitemap: sitemap.xml
     
  10. Nikolay18

    Nikolay18 Постоялец

    Регистр.:
    20 дек 2008
    Сообщения:
    126
    Симпатии:
    27
    А можешь в комментах обьяснить для чего это дополнение (просто чтобы было понятно для ламеров таких как я)
     
Статус темы:
Закрыта.