Как запретить индексацию страниц с определенным расширением?

Тема в разделе "Mod Rewrite / htaccess / ЧПУ", создана пользователем aszxc, 7 июл 2009.

Статус темы:
Закрыта.
  1. aszxc

    aszxc Создатель

    Регистр.:
    1 апр 2007
    Сообщения:
    38
    Симпатии:
    1
    Как запретить индексацию страниц с определенным расширением через .htaccess?
     
  2. ask0n

    ask0n

    Регистр.:
    9 июн 2009
    Сообщения:
    227
    Симпатии:
    63
    В robots.txt:
    Код:
    Disallow: /*.inc$
    Или если совсем запретить доступ:
    Код:
    <FilesMatch "\.inc$">
    Order Allow,Deny
    Deny from all
    </FilesMatch>
     
  3. aszxc

    aszxc Создатель

    Регистр.:
    1 апр 2007
    Сообщения:
    38
    Симпатии:
    1
    robots.txt не подходит, пс его зачастую игнорируют.2-й вариант не подходит,т.к. файл не будет доступен и юзеру.Мне необходимо закрыть страницу ТОЛЬКО от пс.
     
  4. ask0n

    ask0n

    Регистр.:
    9 июн 2009
    Сообщения:
    227
    Симпатии:
    63
  5. D@nil

    D@nil

    Регистр.:
    1 окт 2006
    Сообщения:
    338
    Симпатии:
    122
    Если правильно прописать - то соблюдают
    robotstxt.org.ru
     
  6. aszxc

    aszxc Создатель

    Регистр.:
    1 апр 2007
    Сообщения:
    38
    Симпатии:
    1
    Причем тут правильно.Проверенно на огромном кол-ве сайтов,robots.txt поисковики ОЧЕНЬ часто игнорируют!
     
  7. andrnag

    andrnag

    Регистр.:
    26 мар 2008
    Сообщения:
    350
    Симпатии:
    125
    На сколько мне известно, в директиве robots.txt нельзя использовать регулярные выражения — только подстановки * и ?.

    Более того, некоторые роботы не поддерживают и этих подстановок — можно указывать только папку, начиная с которой, робот не будет индексировать сайт.

    Об этом написано, в частности, на сайте, приведенном вами: Перейти по ссылке
     
  8. acelotuse

    acelotuse

    Регистр.:
    31 мар 2009
    Сообщения:
    312
    Симпатии:
    37
    ))) обалдеть! Оказывается никто и не знает, и все продолжают пользоваться robots.txt. Какие поисковики его игнорируют? Я знаю три хороших, серьезных и популярных у нас поисковика, которые его хорошо читают - Гугл, Яша, и Рамб. Может есть какой-нибудь африканский mutumbaBOT, который спецом не читает, но мне на него наплевать. Нужные мне поисковики его читают. Проверено.
     
Статус темы:
Закрыта.