Как максимально уменьшить количество ботов

Тема в разделе "Вопросы новичков", создана пользователем great, 18 июн 2007.

Статус темы:
Закрыта.
  1. great

    great Постоялец

    Регистр.:
    4 июл 2006
    Сообщения:
    85
    Симпатии:
    134
    За ботов, как известно, не банят. Однако, на фиде они очень сильно портят статистику, нагружают сервак и бесцельно расходуют мощность сервера. Что же нужно предпринять для уменьшения их кол-ва на наших фидах? 1. Следуя этой статье (кстати, очень правильной и своевременной) http://www.nulled.ws/showthread.php?t=15993 нам надо использовать редиректы которые ПОКА не палятся поисковиками, примеры там приведены. Даже если вы используете айфрейм - по возможности кодировать его также ява-скриптом. 2. В корне домена с фидом нужно положить файлик robots.txt со следующим содержанием: User-agent:* Disallow:/ Вот уже 4 года такие меры приносят на моих фидах результаты - ботов я не наблюдаю, однако хитрый гугл все-таки поставил несколько страниц в выдачу по домену, а именно страницы вида http://domen.com/search.php?q=keyword И еще одну тему спалю - если вы использовали обычные редиректы некоторое время, то после того как будет убран файлик robots.txt гугл будет индексить сайт как ненасытный. Выяснилось это случайно - забыл продлить домен с фидом, там полдня повисела дефолтная выдача регистранта, было проиндексировано и поставлено в индекс 800 страниц обычного их дефолтного поискового фида. Затем на другом домене догадка была проверена - за 8 часов больше 1000 страниц в индексе. Вот так то вот не давать гуглу лазить на сайт, ему интересно что же от него скрывают, поэтому сразу после снятия запрета он как голодный индексит все что попадется. Но, замечу - надо чтобы у домена была выдержка и ссылки на него, пусть даже из редиректов.
     
    beldvd и sharapov нравится это.
  2. sharapov

    sharapov Создатель

    Регистр.:
    11 фев 2007
    Сообщения:
    48
    Симпатии:
    46
    Как раз характер "голодности" ссылками и определяется, а также "видимой" частью ресурса. Так наблюдалось катастрофическое падение интереса ботов, когда на почти белый ресурс ;) , добавлялись совсем доры :).

    Касательно редиректов - не факт, что они не палятся. Факт, что они не отображаются в официальном индексе. Кто говорил, что гугл, например, выдает в индекс все, что нашел?!
     
  3. lexmark

    lexmark Прохожие

    так может лучше robots.txt не убирать, а изменить( запретить индексацию страниц)
     
  4. lopata

    lopata Постоялец

    Регистр.:
    21 ноя 2006
    Сообщения:
    82
    Симпатии:
    4
    тдской ботов фильтровать надо и на фид непускать
     
  5. Parasol

    Parasol Постоялец

    Регистр.:
    7 июл 2007
    Сообщения:
    149
    Симпатии:
    65
    Прошу прощения, но что такое ТДСКОЙ?
     
  6. Greyz

    Greyz

    Регистр.:
    2 авг 2007
    Сообщения:
    305
    Симпатии:
    14
    не подскажите еще как избавиться от того, что в гугле каким то индексится фид?q="кейворды в дорах", вроде сказали что в роботсе мож что не так прописал, но вроде всё верно.....
     
  7. blackseoteam

    blackseoteam Постоялец

    Регистр.:
    2 май 2007
    Сообщения:
    75
    Симпатии:
    2
    TDS - система управления web-трафиком
     
  8. Chekist

    Chekist Создатель

    Регистр.:
    31 июл 2006
    Сообщения:
    35
    Симпатии:
    0
    User-agent: *
    Disallow: /

    :) Всех основных ботов выгонит)
     
  9. ZmeyS

    ZmeyS Постоялец

    Регистр.:
    18 май 2007
    Сообщения:
    74
    Симпатии:
    11
    Есть бесплатные скачать можно здесь »
    http://2xlc.net/phptds.html - простая бесплатная TDS.

    http://simpletds.com/tiki-index.php - Simple TDS - бесплатная система распределения траффика.

    а есть и очень хорошие

    http://www.kytoon.com/sutra-tds.html - профессиональная система управления web-трафиком, TDS с расширенными возможностями. Полезная штука для управления всеми своими сайтами/дорами. Распределяет полученный трафик следуя правилам установленным вебмастером, позволяя наиболее эффективно сливать трафф и повысить отдачу(КПД).
     
  10. Parasol

    Parasol Постоялец

    Регистр.:
    7 июл 2007
    Сообщения:
    149
    Симпатии:
    65
    Отлично! А я даже не думал что есть такой софт, я сам писал разные фильтры. Да, с таким софтом будет намного проще жить!
     
Статус темы:
Закрыта.