запрет для паука через htaccess

Статус
В этой теме нельзя размещать новые ответы.
Colonel Fizz посоветуй самый надежный вариант из всех.
 
Colonel Fizz посоветуй самый надежный вариант из всех.

Мой родной хтассесс:

.htaccess написал(а):
RewriteEngine On
...
...
RewriteCond %{HTTP_USER_AGENT} ^.*googlebot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*stackrambler.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*aport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*scooter.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*YaDirect.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*yandex.* [NC,OR]
...
...
RewriteCond %{HTTP_USER_AGENT} ^$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Lynx.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*MSFrontPage.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Teleport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*WebCopier.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*download.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*rufus.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*perl.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*pump.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*libwww.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*findlinks.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*eStyleSearch.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Watchman.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*whois.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*spamer.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*yanga.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*domaintools.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Wget.* [NC]

RewriteRule ^(.*)$ - [F]
 
Colonel Fizz , как сделать, чтобы боты шли на сайтмап
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху