• DONATE to NULLED!
    Вы можете помочь Форуму и команде, поддержать финансово.
    starwanderer - модератор этого раздела будет Вам благодарен!

Помощь Перегруз WP поисковыми ботами

Статус
В этой теме нельзя размещать новые ответы.

nabber

Полезный
Регистрация
14 Дек 2006
Сообщения
159
Реакции
17
Добрый день, заметил что при переезде/смени IP сервера, начинается черти что, на сайт лезут все кому не лень. Сейчас VDS 1100mhz 512mb практически лежит вот уже второй день. Фаил httpd-log за 10 часов вырастает на 5 мегабайт. Лезут все yandex,aport,yahoo,80ног(80legs и такой кроулер есть) и такое ощущение что они пытаются весь сайт заново пере индексировать. Супер кеш плагин загнал за 4 часа ~ 5k страниц в кеш. Ну в общем не индексация а Ддос какой то. Как с этим бороться чтобы при этом поисковой выдачи не повредить.

З.Ы. Правда уже траф упал с гугла так как постоянные ошибки загрузки страниц были и из индекса по выбрасывал уже много страничек вернется ли трафик :confused:
 
Для крупных поисковиков вроде Google и Yandex и т.п. достаточно будет прописать в robots.txt частоту обращения к сайту
User-agent: *
Crawl-delay: 3
Хорошо-бы также в этом файле определить явно, каким поисковикам доступ разрешён - перечисленные вами загадочные 80legs и апорт вряд-ли дают хоть сколь-нибудь заметный приток посетителей, зачем их вообще пускать?
 
Хочу уточнить про задержку сканирования в роботс, т.к теперь гугл почему то уже сутки не ухдит с сайта и апач колом. Выставленная задержка может как ни буть негативно сказаться на индексации для меня важен именно гугл, в вебмастерс тулз написано что бот сам может определять скорость сканирования и лучше ничего не менять. Но в данный момент мне постаянно приходется перегружать апач 100 % загрузка проца и памяти в админку сайта войти не могу.

Все же поставил crawl-delay но помоему извените за выражение им до п...ды на задержку. Одновременно подключение с кучи разных айпи ботов яху и гугла.
 
  • Заблокирован
  • #4
просто перекройте доступ всем левым роботам
_http://scumdesign.ru/robots.txt

вот тут подборочка, подрезанная где-то в инете, нагрузка и лишний трафик отступают, еще посмотрите как много блогов оповещается о новых постах, тоже грузит сервер
 
просто перекройте доступ всем левым роботам
_http://scumdesign.ru/robots.txt
вот тут подборочка, подрезанная где-то в инете, нагрузка и лишний трафик отступают, еще посмотрите как много блогов оповещается о новых постах, тоже грузит сервер

А чем эти левые боты могут на сайте заниматься?? у меня такое ощущение что контент тырят :confused: А вот за файлик огромное спасибо, сам бы вряд ли такой сделал!!
 
  • Заблокирован
  • #6
А чем эти левые боты могут на сайте заниматься?? у меня такое ощущение что контент тырят :confused: А вот за файлик огромное спасибо, сам бы вряд ли такой сделал!!

контент индексируют, те которые воруют контент в большинстве своем делают это по rss и один раз. им нет нужды многократно индексировать страницы
 
К сожалению, не все боты слушаются robots.txt, а некоторые туда даже не заглядывают. Поэтому я раньше особо надоедливых глушил через htaccess. Если память мне не изменяет, делается это так:

Deny from 12.345.678.90 Блокируем конкретный IP
Deny from 12.345.678 Блокируем IP в диапазоне от 12.345.678.0 до 12.345.678.255

С Гуглем и Яндексом так обращаться, пожалуй, не стоит, а вот с "80 ног" и т.п. - запросто...
 
просто перекройте доступ всем левым роботам
_http://scumdesign.ru/robots.txt
вот тут подборочка, подрезанная где-то в инете, нагрузка и лишний трафик отступают, еще посмотрите как много блогов оповещается о новых постах, тоже грузит сервер
:D А на зачем делать список тех кому нельзя (вы можете и не подозревать о существовании каких-то ботов), а не создать правило вида:
User-agent: гугля
Disallow: /секретная папка
User-agent: тындекс
Disallow: /самая секретная папка
User-agent: *
Disallow: /
и все боты не указанные очевидно идут лесом
 
Аналогично как с Disallow - раздельные Crawl-delay тоже могут пригодиться - выставить в зависимости от приоритетов
Да и особо не пугайтесь, если сайт не мега-обновляемый - лучше гугля будет медленно перебирать страницы, чем потом в панельке ВМа напишет, что у вас лажа со скоростью сайта, что теоритически тоже фактор ранжирования
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху