Нужна помощь с robots.txt

[amazon]

Подскажите плз как будет выглядеть содержимое файла robots.txt, который будет запрещать индексировать и выводить в выдачу эту страницу:
domen.com/noindex.php?t=chto_ugodno(т.е. переменые будут само собой разные), в общем надо все запретить к индексации что будет связано с этим файлом.
User-agent: *
Disallow: /noindex.php
Allow: /

Так или как-то по другому?

 

[mrr]

Немного проще:

User-agent: *
Disallow: /noindex.php

 

[JESUS]

Allow вообще не надо писать... robots.txt предназначен для запрета индексирования чего-либо, а не для разрешения...

 

[amazon]

Немного проще:
User-agent: *
Disallow: /noindex.php

А все поисковики поймут?
Их не надо отдельно перечислять?

 

[JESUS]

вот почитай из первых уст

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

и кста, яша любит, чтобы для него обязательно отдельные правила писали...

 

[amazon]

Ага, поставлю так наверно:
User-agent: *
Disallow: /noindex.php
User-agent: Yandex
Disallow: /noindex.php
Если не зацепит первой диррективой, то второй тогда.

 

[tatams]

Ага, поставлю так наверно:
User-agent: *
Disallow: /noindex.php
User-agent: Yandex
Disallow: /noindex.php
Если не зацепит первой диррективой, то второй тогда.

Вопрос больше не в первой-второй
Просто распространенная ошибка, что прописывают изначально и * и Яндекс с дефолтными настройками (User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: ...), а запрещают позже только в разделе *

 

[amazon]

Вопрос больше не в первой-второй
Просто распространенная ошибка, что прописывают изначально и * и Яндекс с дефолтными настройками (User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: ...), а запрещают позже только в разделе *

А можно как то пререстроить фразу? )
4ре раза перечитал, всеравно не въехал (

 

[klime]

а такой вопросс: а если на всем заперт, как яндекс проиндексирует sitemap.xml?=)

 

[Bliko]

а такой вопросс: а если на всем заперт, как яндекс проиндексирует sitemap.xml?=)

да какая разница. сайт закрыт от индексации, значит ничего индексировать не будет. сайтмап проверит и дальше пойдет и не будет тратить время боту еще миллион сайтов надо оббежать...