HELP: Обработка robots.txt в .htaccess

Тема в разделе "Mod Rewrite / htaccess / ЧПУ", создана пользователем saidxxx, 25 фев 2008.

Статус темы:
Закрыта.
  1. saidxxx

    saidxxx

    Регистр.:
    6 фев 2007
    Сообщения:
    496
    Симпатии:
    154
    <IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteRule ^$ webroot/ [L]
    RewriteRule (.*) webroot/$1 [L]
    </IfModule>

    При вызове через браузер robots.txt выдается php скрипт? Как сделать исключени для этого файла.
     
  2. andead

    andead Создатель

    Регистр.:
    11 ноя 2007
    Сообщения:
    30
    Симпатии:
    11
    Код:
    <IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteRule ^$ webroot/ [L]
    RewriteCond $1 !^(robots\.txt)
    RewriteRule (.*) webroot/$1 [L]
    </IfModule>
     
    saidxxx нравится это.
  3. ukrsonic

    ukrsonic Постоялец

    Регистр.:
    22 мар 2007
    Сообщения:
    78
    Симпатии:
    4
    Звиняюся, если немного не в тему. Подскажите, а если блокировать robots.txt с помощью .htaccess, т.е. при вызове файла robots.txt из броузера, чтобы например загружалась 404 ошибка или главная страница сайта...

    Поисковый робот тоже не сможет прочитать robots.txt в таком случае? или можно както обозначить в mode_rewrite, что если пришел поисковик то позволить ему прочитать файл?:thenks:
     
  4. andead

    andead Создатель

    Регистр.:
    11 ноя 2007
    Сообщения:
    30
    Симпатии:
    11
    поисковики от пользователей можно отличить по HTTP_USER_AGENT, но подделать этот заголовок не составляет труда, и кому нада тот всёравно увидит содержание robots.txt ;)
     
    ukrsonic нравится это.
Статус темы:
Закрыта.