Скрипт получения IP-адрессов поисковых ботов

Тема в разделе "Мелочи", создана пользователем jacksoft, 9 окт 2008.

Статус темы:
Закрыта.
  1. jacksoft

    jacksoft

    Регистр.:
    22 мар 2007
    Сообщения:
    595
    Симпатии:
    460
    Нашел скриптик получения IP-адрессов поисковых ботов и немного его подправил...
    Пользуемся.


    PHP:
    <?php

    error_reporting
    (E_ALL E_NOTICE);

    define(FILE_BOTS"bots.txt");
    $timestamp filemtime(FILE_BOTS);
    $lastupdated date("Ymd",$timestamp);
    if(
    $lastupdated != date("Ymd")) {
    $lists = array(
    'http://spiders.wphost.info/google.txt',
    'http://spiders.wphost.info/inktomi.txt',
    'http://spiders.wphost.info/lycos.txt',
    'http://spiders.wphost.info/msn.txt',
    'http://spiders.wphost.info/altavista.txt',
    'http://spiders.wphost.info/askjeeves.txt',
    'http://spiders.wphost.info/wisenut.txt',
    'http://labs.getyacg.com/spiders/misc.txt'
    );
    $t = array();
    foreach(
    $lists as $list) {
      
    $tmp file($list);
      if(isset(
    $tmp)) 
       {
        
    $t array_merge($t$tmp);
       }
    }

    $ipb $t;
    $opt "";

    for(
    $i=0$i<sizeof($ipb); $i++)
    {
     
    $ipb[$i] = preg_replace("/(^[\r\n]*|[\r\n]+)[\s\t]*[\r\n]+/""\n"$ipb[$i]);
     if(
    eregi("^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}$"trim($ipb[$i]))) 
      {
       for(
    $j=1$j<=254$j++)
        {
         
    $opt .= trim($ipb[$i]).".".$j."\n";
        }
      }
     else
      {
        
    $opt .= trim($ipb[$i])."\n";
      }
    }

    $fp =  fopen(FILE_BOTS,"w");
    fwrite($fp,$opt);
    fclose($fp);
    }
    ?>
     
    noobie нравится это.
  2. noobie

    noobie Постоялец

    Регистр.:
    4 мар 2008
    Сообщения:
    103
    Симпатии:
    13
    А вот если бы он еще формировал .htaccess с Deny from
    и вычислял подсети (т.е. если весь диапазон попадает то не писать 256 ip адресов а писать подсеть в htaccess) вообще было б шоколадно :)
     
  3. CraZee

    CraZee

    Регистр.:
    11 сен 2006
    Сообщения:
    594
    Симпатии:
    658
    А есть ли что то подобное, но для Яшки ???
     
  4. Shmigul

    Shmigul Писатель

    Заблокирован
    Регистр.:
    20 июл 2008
    Сообщения:
    8
    Симпатии:
    0
    Скажите плиз куда этот скрипт вставлять?
     
  5. jacksoft

    jacksoft

    Регистр.:
    22 мар 2007
    Сообщения:
    595
    Симпатии:
    460
    Подсеть я сам разбиваю для наглядности. Забереш 1 цикл - получи подсеть без хостов.
    Давай формат файла - доделаю.

    Добавлено через 15 минут
    Не встречал

    Добавлено через 17 минут
    В крон и на базе выдачи принимать решение, что показывать.
     
  6. CraZee

    CraZee

    Регистр.:
    11 сен 2006
    Сообщения:
    594
    Симпатии:
    658
    В мозг...

    Если нет представления за чем может понадобиться скрипт - то и не стоит задавать вопросы. Если же есть, то просто посмотреть структуру PHP. В ней даже школьник разберется.
     
  7. jacksoft

    jacksoft

    Регистр.:
    22 мар 2007
    Сообщения:
    595
    Симпатии:
    460
    Lexon нравится это.
  8. Lexon

    Lexon Постоялец

    Регистр.:
    20 фев 2008
    Сообщения:
    114
    Симпатии:
    4
    Вот это действительно круто!
     
  9. ras999

    ras999 Создатель

    Регистр.:
    18 июл 2008
    Сообщения:
    35
    Симпатии:
    9
    Народ подскажите, как этот скрипт совместить с simple TDS,
    для того, чтобы ботов отшивать.
     
  10. jacksoft

    jacksoft

    Регистр.:
    22 мар 2007
    Сообщения:
    595
    Симпатии:
    460
    Возьми мой мод симпла - там уже отсеивание ботов встроено.
     
Статус темы:
Закрыта.