Кто как пишет robots.txt для wordpress

Тема в разделе "Вопросы новичков", создана пользователем dump1111, 6 мар 2010.

Статус темы:
Закрыта.
  1. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    Хотелось бы узнать кто как пишет robots.txt для вордпресса. Чтобы исключить дубли нужно закрыть от индексации. Страницы с архивом и категориями, и оставить только одни посты. Есть конечно инфа по этому поводу, но именно по этому вопросу я не нашёл. А кто как думает по этому поводу?
     
  2. BlackvsEvgen

    BlackvsEvgen Постоялец

    Регистр.:
    13 янв 2009
    Сообщения:
    104
    Симпатии:
    3
    Я так пишу и вроде всё норм пока :)

     
  3. wasterel

    wasterel

    Регистр.:
    2 фев 2009
    Сообщения:
    330
    Симпатии:
    35
    Вот статья: Правильный robots.txt для WordPress
     
  4. DarkWing

    DarkWing

    Регистр.:
    15 фев 2007
    Сообщения:
    359
    Симпатии:
    117
    Делаю так же, как wasterel. Только добавляю директиву Crawl-delay.

    Я как-то делал небольшой сайтик для знакомых и ребята разместили его на мажордомо. И у них постоянно сайт падал, хотя траффика на сайте копейки 5-30 человек сутки, был включен кеш. Основную нагрузку давала галерея и боты. Когда в robots прописали "Crawl-delay: 5", сайт перестал падать.
     
  5. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    Ну вот если конкретно спросить: как правльно закрывать урлы содержащие определённый фрагмент? В Яндексе говорится, что спецсимвол "*" может означать любую, в том числе пустую последовательность символов. Т.е, если скажем нужно закрыть урлы, содержащие фрагмент "date", то подойдёт ли такой вариант написания директивы: Disallow: */date
     
  6. artanto

    artanto Читатель

    Заблокирован
    Регистр.:
    6 фев 2008
    Сообщения:
    3
    Симпатии:
    0
    спасибо, очень помогли.
     
Статус темы:
Закрыта.