HELP: Обработка robots.txt в .htaccess

[saidxxx]

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteRule ^$ webroot/ [L]
RewriteRule (.*) webroot/$1 [L]
</IfModule>

При вызове через браузер robots.txt выдается php скрипт? Как сделать исключени для этого файла.

 

[andead]

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteRule ^$ webroot/ [L]
RewriteCond $1 !^(robots\.txt)
RewriteRule (.*) webroot/$1 [L]
</IfModule>

 

[ukrsonic]

Звиняюся, если немного не в тему. Подскажите, а если блокировать robots.txt с помощью .htaccess, т.е. при вызове файла robots.txt из броузера, чтобы например загружалась 404 ошибка или главная страница сайта...

Поисковый робот тоже не сможет прочитать robots.txt в таком случае? или можно както обозначить в mode_rewrite, что если пришел поисковик то позволить ему прочитать файл?

 

[andead]

поисковики от пользователей можно отличить по HTTP_USER_AGENT, но подделать этот заголовок не составляет труда, и кому нада тот всёравно увидит содержание robots.txt