определить роботов поисковиков по ip

Тема в разделе "Вопросы новичков", создана пользователем serg122, 18 июл 2012.

  1. serg122

    serg122 Постоялец

    Регистр.:
    16 сен 2006
    Сообщения:
    68
    Симпатии:
    7
    Нужны определять по ip если на сайте робот поисковик или обычный посетитель. Есть готовые решения в виде php скрипта? или база данных ip всех поисковиков?
     
  2. smalllamer

    smalllamer Организм

    Регистр.:
    20 сен 2009
    Сообщения:
    318
    Симпатии:
    126
    Актуальную базу IP ботов в паблике не найдешь. А то что есть будет давать результат хуже чем по юзерагенту.
    PHP:
    <?PHP
     
    $bot 
    'Unknown';
     
    if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'YandexBot')){ $bot='YandexBot';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'YandexDirect')){ $bot='Yandex Direct';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Googlebot';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Google')){$bot='Google';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot&nbsp;Bot&nbsp;search';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler&nbsp;search';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut&nbsp;search';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'Yahoo')){$bot='Yahoo';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}
    else if (
    stristr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}
     
    if(
    $bot != 'Unknown')
    {
    $dt=date('Y-m-d [H:i:s]'); // получение текущего времени
    $fp fopen('log.html',a); // получаем дескриптор открытого файла
    fwrite($fp,'< br>'.$bot.' | '.$dt); // пишем в лог-файл наши данные
    fclose($fp); // закрываем дескриптор
    }
    ?
     
    serg122 нравится это.
  3. Gorin

    Gorin Создатель

    Регистр.:
    9 сен 2011
    Сообщения:
    18
    Симпатии:
    1
    Если это не под рунет, то заморачиваться с ip всех поисковиков не имеет смысла, львиную долю трафика дает гугл. Некоторые суровые люди остальных ботов просто в роботсе запрещают, чтобы зря сервера не напрягали.
     
  4. poikl

    poikl

    Регистр.:
    7 ноя 2006
    Сообщения:
    164
    Симпатии:
    31
    скрипт с базой ипов можно юзать совместно с тем что выше
     
    Edu-profit и serg122 нравится это.
  5. serg122

    serg122 Постоялец

    Регистр.:
    16 сен 2006
    Сообщения:
    68
    Симпатии:
    7
    Там написано By: a guest on Jul 19th, 2012 но все же база новая или на основе 2007?
     
  6. poikl

    poikl

    Регистр.:
    7 ноя 2006
    Сообщения:
    164
    Симпатии:
    31
    это я запостил )) 19 числа туда
    вопрос не правильный , правильный рабочая или нет
    ответ да рабочая
    сам с ней работаю и скрипт который на верху не юзаю раньше с ним связка была , но по нему тебя спалят если задут с гугли агентом а тут прописываш свой ип и не кто кроме ботов и тебя не видит реального содержания
    То ко под яндекс я не уверн так как эта база под запад
     
  7. xumukys

    xumukys

    Регистр.:
    16 ноя 2008
    Сообщения:
    495
    Симпатии:
    90
    Когда-то использовал для клоакинга вот этот сервис:

    На ру сайтах раньше работал, проверял кеш страниц в яндексе и гугле.
     
  8. baddan

    baddan

    Регистр.:
    14 мар 2008
    Сообщения:
    354
    Симпатии:
    42


     
  9. olegapro

    olegapro

    Регистр.:
    2 авг 2007
    Сообщения:
    154
    Симпатии:
    26
    ip bots гугли
     
  10. olllg

    olllg

    Регистр.:
    17 фев 2007
    Сообщения:
    303
    Симпатии:
    141