Как максимально уменьшить количество ботов

Статус
В этой теме нельзя размещать новые ответы.

great

Постоялец
Регистрация
4 Июл 2006
Сообщения
85
Реакции
138
За ботов, как известно, не банят. Однако, на фиде они очень сильно портят статистику, нагружают сервак и бесцельно расходуют мощность сервера. Что же нужно предпринять для уменьшения их кол-ва на наших фидах? 1. Следуя этой статье (кстати, очень правильной и своевременной) Для просмотра ссылки Войди или Зарегистрируйся нам надо использовать редиректы которые ПОКА не палятся поисковиками, примеры там приведены. Даже если вы используете айфрейм - по возможности кодировать его также ява-скриптом. 2. В корне домена с фидом нужно положить файлик robots.txt со следующим содержанием: User-agent:* Disallow:/ Вот уже 4 года такие меры приносят на моих фидах результаты - ботов я не наблюдаю, однако хитрый гугл все-таки поставил несколько страниц в выдачу по домену, а именно страницы вида Для просмотра ссылки Войди или Зарегистрируйся И еще одну тему спалю - если вы использовали обычные редиректы некоторое время, то после того как будет убран файлик robots.txt гугл будет индексить сайт как ненасытный. Выяснилось это случайно - забыл продлить домен с фидом, там полдня повисела дефолтная выдача регистранта, было проиндексировано и поставлено в индекс 800 страниц обычного их дефолтного поискового фида. Затем на другом домене догадка была проверена - за 8 часов больше 1000 страниц в индексе. Вот так то вот не давать гуглу лазить на сайт, ему интересно что же от него скрывают, поэтому сразу после снятия запрета он как голодный индексит все что попадется. Но, замечу - надо чтобы у домена была выдержка и ссылки на него, пусть даже из редиректов.
 
Но, замечу - надо чтобы у домена была выдержка и ссылки на него, пусть даже из редиректов.

Как раз характер "голодности" ссылками и определяется, а также "видимой" частью ресурса. Так наблюдалось катастрофическое падение интереса ботов, когда на почти белый ресурс ;) , добавлялись совсем доры :).

Касательно редиректов - не факт, что они не палятся. Факт, что они не отображаются в официальном индексе. Кто говорил, что гугл, например, выдает в индекс все, что нашел?!
 
так может лучше robots.txt не убирать, а изменить( запретить индексацию страниц)
 
тдской ботов фильтровать надо и на фид непускать
 
не подскажите еще как избавиться от того, что в гугле каким то индексится фид?q="кейворды в дорах", вроде сказали что в роботсе мож что не так прописал, но вроде всё верно.....
 
не подскажите еще как избавиться от того, что в гугле каким то индексится фид?q="кейворды в дорах", вроде сказали что в роботсе мож что не так прописал, но вроде всё верно.....
User-agent: *
Disallow: /

:) Всех основных ботов выгонит)
 
Сообщение от Parasol
Прошу прощения, но что такое ТДСКОЙ?

Есть бесплатные скачать можно здесь »


а есть и очень хорошие

 
Есть бесплатные скачать можно здесь »
*** скрытое содержание ***
а есть и очень хорошие
*** скрытое содержание ***

Отлично! А я даже не думал что есть такой софт, я сам писал разные фильтры. Да, с таким софтом будет намного проще жить!
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху