как запретить индексацию через .htaccess

Статус
В этой теме нельзя размещать новые ответы.
  • Заблокирован
  • #11
Спалили тему :)
роботс не канает по той простой причине что все популярные движки каталогов проверяют закрытие ообраток посредством robots.txt и в случае обнаружения таких финтов черные и серые каталоги не размещают ссылок .
 
RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*slurp.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*webalta.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*aport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*lycos.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*scooter.* [NC]
RewriteRule ^(.*)$ - [F]

а эти параметры сейчас в должной мере работают? Последнее сообщение о них датируется 2007. И такая конструкция заблокирует ботов (кроме googla rambler и yandex)?
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху