robots.txt с запрещёнными ненужными поисковиками

[MyOST]

самая частая ошибка по IP резать

если знать точные IP, не подсети банить - то нормально

 

[swer]

если знать точные IP, не подсети банить - то нормально

хеее это сколько сот ип на 1 бота)) застрелиццо проще

 

[MyOST]

хеее это сколько сот ип на 1 бота)) застрелиццо проще

не сказал бы что так много, но достаточно

 

[Angelpsy]

нужно блочить через .htaccess - надежнее выходит, а через роботс тотже бинг пробивается, например

Тоже придерживаюсь мнения, что через .htacess надежнее... вот небольшой пример (у кого из сеошников в блоге был)

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} liveinternet [OR]
RewriteCond %{HTTP_USER_AGENT} StackRambler [OR]
RewriteCond %{HTTP_USER_AGENT} WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} Yanga [OR]
RewriteCond %{HTTP_USER_AGENT} Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} Flexum [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} libwww-perl
RewriteRule ^(.*)$ - [F,L]