Нужна помощь с robots.txt

Тема в разделе "Вопросы новичков", создана пользователем amazon, 13 фев 2010.

Статус темы:
Закрыта.
  1. amazon

    amazon Создатель

    Регистр.:
    5 фев 2010
    Сообщения:
    11
    Симпатии:
    1
    Подскажите плз как будет выглядеть содержимое файла robots.txt, который будет запрещать индексировать и выводить в выдачу эту страницу:
    domen.com/noindex.php?t=chto_ugodno(т.е. переменые будут само собой разные), в общем надо все запретить к индексации что будет связано с этим файлом.
    User-agent: *
    Disallow: /noindex.php
    Allow: /

    Так или как-то по другому?
     
  2. mrr

    mrr

    Регистр.:
    21 окт 2007
    Сообщения:
    373
    Симпатии:
    390
    Немного проще:
     
  3. JESUS

    JESUS

    Регистр.:
    28 ноя 2006
    Сообщения:
    374
    Симпатии:
    110
    Allow вообще не надо писать... robots.txt предназначен для запрета индексирования чего-либо, а не для разрешения...
     
  4. amazon

    amazon Создатель

    Регистр.:
    5 фев 2010
    Сообщения:
    11
    Симпатии:
    1
    А все поисковики поймут?
    Их не надо отдельно перечислять?
     
  5. JESUS

    JESUS

    Регистр.:
    28 ноя 2006
    Сообщения:
    374
    Симпатии:
    110
    вот почитай из первых уст Перейти по ссылке

    и кста, яша любит, чтобы для него обязательно отдельные правила писали...
     
  6. amazon

    amazon Создатель

    Регистр.:
    5 фев 2010
    Сообщения:
    11
    Симпатии:
    1
    Ага, поставлю так наверно:
    User-agent: *
    Disallow: /noindex.php
    User-agent: Yandex
    Disallow: /noindex.php
    Если не зацепит первой диррективой, то второй тогда.
     
  7. tatams

    tatams

    Регистр.:
    15 май 2009
    Сообщения:
    501
    Симпатии:
    84
    Вопрос больше не в первой-второй
    Просто распространенная ошибка, что прописывают изначально и * и Яндекс с дефолтными настройками (User-agent: *
    Disallow:
    User-agent: Yandex
    Disallow:
    Host: ...), а запрещают позже только в разделе *
     
  8. amazon

    amazon Создатель

    Регистр.:
    5 фев 2010
    Сообщения:
    11
    Симпатии:
    1
    А можно как то пререстроить фразу? )
    4ре раза перечитал, всеравно не въехал (
     
  9. klime

    klime Прохожие

    а такой вопросс: а если на всем заперт, как яндекс проиндексирует sitemap.xml?=)
     
  10. Bliko

    Bliko Создатель

    Регистр.:
    28 июл 2008
    Сообщения:
    16
    Симпатии:
    1
    да какая разница. сайт закрыт от индексации, значит ничего индексировать не будет. сайтмап проверит и дальше пойдет и не будет тратить время :) боту еще миллион сайтов надо оббежать...
     
Статус темы:
Закрыта.