[Ищу] Скрипт для фиксации сканирования сайта поисковыми роботами.

Тема в разделе "SEO Скрипты", создана пользователем jabbaxatt, 2 окт 2012.

  1. jabbaxatt

    jabbaxatt Добрый модератор

    Moderator
    Регистр.:
    21 янв 2009
    Сообщения:
    896
    Симпатии:
    422
    Хотелось бы иметь решение, желательно скрипт на PHP, который можно установить на сайт, и он записывал бы в базу (желательно MySQL), какие роботы, в какие дни\часы заходили на сайт и какие страницы загружали.

    А потом бы все эти данные можно было просматривать в более-менее красивом виде. А не копаться как ишак в многометровых логах сервера.

    Если есть готовое решение - отлично. Если нет - прошу подсказать принцип возможного написания(какой код встроить в страницу сайта, что-бы он без особой доп нагрузки определял что зашел яша или гоша и писал это факт в базу), и возможно буду писать сам.
     
  2. Juri

    Juri

    Заблокирован
    Регистр.:
    5 окт 2007
    Сообщения:
    1.065
    Симпатии:
    197
    Чем не подходит кабинет вебмастера яшки и гугла? Но видимо чем то не подходит

    Что касается скрипта то тут по сути ничего сложного.
    Определить поисковик не сложно, смотрите его юзерагент, как правило они представляются как есть, но есть и те которые представляются обычным юзером их естественно не отследите...
    В базу кладете кто и когда пришел, какие страницы посмотрел, тут ничего сложного.
    Ну а потом на основании того что в базе вырисовываете себе график ну или еще как то отображаете, как вам удобней.
     
  3. CAPAXA

    CAPAXA

    Регистр.:
    7 июн 2007
    Сообщения:
    920
    Симпатии:
    547
    Это умеет делать CNstats
     
  4. dandandan

    dandandan

    Регистр.:
    7 авг 2008
    Сообщения:
    996
    Симпатии:
    268
    Вот заготовка. Дальше ее можно допиливать по своему усмотрению.
    PHP:
    $useragent $_SERVER['HTTP_USER_AGENT'];
     
    if(
    strpos($useragent"StackRambler") !== false$os 'robot_rambler';
    if(
    strpos($useragent"Googlebot") !== false$os 'robot_google';
    if(
    strpos($useragent"Yandex") !== false$os 'robot_yandex';
    if(
    strpos($useragent"Aport") !== false$os 'robot_aport';
    if(
    strpos($useragent"msnbot") !== false$os 'robot_msnbot';
    echo 
    $os// тут имя поисковика
     
    jabbaxatt нравится это.
  5. jabbaxatt

    jabbaxatt Добрый модератор

    Moderator
    Регистр.:
    21 янв 2009
    Сообщения:
    896
    Симпатии:
    422
    Тем, что не актуальная скорость обновления информации. Тем что нужно не только доверять но и проверять. Тем что я хочу видеть:
    - список проверенных страниц за определённый день
    - точное время сканирования
    - примерную скорость сканирования
    - какую-никакую инфографику по этим параметрам.

    А есть точный список юзер-агентов поисковых роботов? Или это он и есть?
    А то у яши вроде куча ботов - индексатор, картинки, фавиконы, зеркальщик и т.п.
     
  6. dandandan

    dandandan

    Регистр.:
    7 авг 2008
    Сообщения:
    996
    Симпатии:
    268
    У меня полного списка нет.
    Можно пробежаться глазами по серверным логам доступа к сайту. Оттуда выдернуть юзер агентов.
    В принципе можно парсить логи и дергать статистику оттуда.
     
  7. o_nix

    o_nix

    Регистр.:
    7 ноя 2007
    Сообщения:
    1.073
    Симпатии:
    1.039
    jabbaxatt

    логи apache + скрипт awstats или прога анализатор логов, мне например WebLog Expert нравится

    php скрипт постоянно работающий при каждом запросе страницы это дополнительная нагрузка на сервер
     
  8. Yauhen

    Yauhen Постоялец

    Регистр.:
    30 дек 2006
    Сообщения:
    99
    Симпатии:
    35
    когда то тоже искал подобный скриптик
    и таки нашел, но немного переписал под себя
    без мускула, на файлик sebot поставить права на запись
    файлик sebot.php заинклудить в движок
    файлик sbotinfo.php - стата
    буду рад, если кому то оказался полезен сей скриптик )
     

    Вложения:

    • SeBotInfo.rar
      Размер файла:
      2,6 КБ
      Просмотров:
      30
  9. stooper

    stooper Shiva

    Moderator
    Регистр.:
    14 апр 2006
    Сообщения:
    535
    Симпатии:
    316
    скрипт работает хорошо! когда то я неплохо клоакал яндекс используя его, немного переписав. для отлова роботов он самый адекватный был раньше, как сейчас не знаю. сам тоже CNStats юзаю. по тихому.
     
  10. SlavaRom

    SlavaRom Создатель

    Регистр.:
    11 май 2009
    Сообщения:
    36
    Симпатии:
    1
    Вопрос: sebot стат.инфу в себе хранит или создает какой-то файл, если обходится без мускуля?