Как определять ботов?

Тема в разделе "Вопросы новичков", создана пользователем Lapa, 5 июн 2010.

Статус темы:
Закрыта.
  1. Lapa

    Lapa Прохожие

    Кто подскажет как как различать бота той или иной поисковой системы?
    и как определить что это именно бот, а не что-то другое?
     
  2. Kai

    Kai

    Регистр.:
    29 июн 2007
    Сообщения:
    329
    Симпатии:
    46
    по юзерагенту. http://seo.yandeg.ru/articles/?p=user_agents
     
  3. vredin

    vredin Читатель

    Заблокирован
    Регистр.:
    17 дек 2007
    Сообщения:
    141
    Симпатии:
    35
    +1
    смотреть можно в логах веб-сервера(как вариант)
     
  4. Kai

    Kai

    Регистр.:
    29 июн 2007
    Сообщения:
    329
    Симпатии:
    46
    ну в логах все-равно смотреть только по юзерагенту, проще счетчик повесить от ли ру и видеть все наглядно )
     
  5. Ilekor

    Ilekor Постоялец

    Регистр.:
    8 май 2009
    Сообщения:
    144
    Симпатии:
    34
    http://usings.ru/2009/07/12/bot-stat/
     
  6. webru

    webru Постоялец

    Регистр.:
    30 сен 2008
    Сообщения:
    104
    Симпатии:
    3
    Смотрите по статистике сайта или по user agent в http запросах к сайту.
     
  7. Красавчег

    Красавчег Завсегдатай

    Регистр.:
    15 мар 2010
    Сообщения:
    901
    Симпатии:
    297
    Некоторые боты специально маскируются по ПС. Определить можно только по IP.
     
  8. gre4a

    gre4a Создатель

    Регистр.:
    19 мар 2009
    Сообщения:
    10
    Симпатии:
    2
    если в юзер агенте написано что бот, то однозначно бот. а если написано что человеком ,то не факт что правда. многие ПС для тестирования сайтов запускаю хитроботов. пожно отсекать по ИП как предлагали но хз где такие базы, можно отсекать по провайдеру. быза доступны и обновляются www.maxmind.com/app/isp. например всех кто с google вон.
    но самый верный способ это показывать капчу, перед входом на сайт :)
     
  9. adme88

    adme88 Создатель

    Регистр.:
    25 фев 2008
    Сообщения:
    26
    Симпатии:
    0
    Публичные базы использовать можно, но они не всегда будут актуальными. User-agent уже ставят и на ботов нормальный. С капчей вариант -- да, только я не встречал, чтоб сайт приветствовал пользователя с капчей, это ж совсем абсурд, но метод точный.

    Боты не всегда показывают свои ip в базах, потому что тогда бы все забанили ботов на дорах и клоакинг бы рулил.
     
Статус темы:
Закрыта.