Как определять ботов?

[Lapa]

Кто подскажет как как различать бота той или иной поисковой системы?
и как определить что это именно бот, а не что-то другое?

 

[Kai]

по юзерагенту.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[vredin]

по юзерагенту. *** скрытое содержание ***

+1
смотреть можно в логах веб-сервера(как вариант)

 

[Kai]

ну в логах все-равно смотреть только по юзерагенту, проще счетчик повесить от ли ру и видеть все наглядно )

 

[Ilekor]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[webru]

Смотрите по статистике сайта или по user agent в http запросах к сайту.

 

[Красавчег]

и как определить что это именно бот, а не что-то другое?

Некоторые боты специально маскируются по ПС. Определить можно только по IP.

 

[gre4a]

если в юзер агенте написано что бот, то однозначно бот. а если написано что человеком ,то не факт что правда. многие ПС для тестирования сайтов запускаю хитроботов. пожно отсекать по ИП как предлагали но хз где такие базы, можно отсекать по провайдеру. быза доступны и обновляются Для просмотра ссылки Войди или Зарегистрируйся. например всех кто с google вон.
но самый верный способ это показывать капчу, перед входом на сайт

 

[adme88]

Публичные базы использовать можно, но они не всегда будут актуальными. User-agent уже ставят и на ботов нормальный. С капчей вариант -- да, только я не встречал, чтоб сайт приветствовал пользователя с капчей, это ж совсем абсурд, но метод точный.

Боты не всегда показывают свои ip в базах, потому что тогда бы все забанили ботов на дорах и клоакинг бы рулил.