Как запретить индексацию страниц с определенным расширением?

[aszxc]

Как запретить индексацию страниц с определенным расширением через .htaccess?

 

[ask0n]

В robots.txt:

Disallow: /*.inc$

Или если совсем запретить доступ:

<FilesMatch "\.inc$">
Order Allow,Deny
Deny from all
</FilesMatch>

 

[aszxc]

В robots.txt:

Disallow: /*.inc$

Или если совсем запретить доступ:

<FilesMatch "\.inc$">
Order Allow,Deny
Deny from all
</FilesMatch>

robots.txt не подходит, пс его зачастую игнорируют.2-й вариант не подходит,т.к. файл не будет доступен и юзеру.Мне необходимо закрыть страницу ТОЛЬКО от пс.

 

[ask0n]

 

[D@nil]

robots.txt не подходит, пс его зачастую игнорируют

Если правильно прописать - то соблюдают

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[aszxc]

Если правильно прописать - то соблюдают
*** скрытое содержание ***

Причем тут правильно.Проверенно на огромном кол-ве сайтов,robots.txt поисковики ОЧЕНЬ часто игнорируют!

 

[andrnag]

На сколько мне известно, в директиве robots.txt нельзя использовать регулярные выражения — только подстановки * и ?.

Более того, некоторые роботы не поддерживают и этих подстановок — можно указывать только папку, начиная с которой, робот не будет индексировать сайт.

Об этом написано, в частности, на сайте, приведенном вами: Для просмотра ссылки Войди или Зарегистрируйся

 

[acelotuse]

Причем тут правильно.Проверенно на огромном кол-ве сайтов,robots.txt поисковики ОЧЕНЬ часто игнорируют!

))) обалдеть! Оказывается никто и не знает, и все продолжают пользоваться robots.txt. Какие поисковики его игнорируют? Я знаю три хороших, серьезных и популярных у нас поисковика, которые его хорошо читают - Гугл, Яша, и Рамб. Может есть какой-нибудь африканский mutumbaBOT, который спецом не читает, но мне на него наплевать. Нужные мне поисковики его читают. Проверено.