Нагрузка на сервер слишком большая

Тема в разделе "Администрирование серверов", создана пользователем deni.pc, 13 окт 2009.

Статус темы:
Закрыта.
Модераторы: mefish
  1. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    436
    вообще проблема с ботом сапы -- в том что он запрашивает страницы с малым промежутком времени
    Если код сапы встроен обычным образом -- "тяжелые" CMS нагружают хост ой как неслабо.

    Сталкивался с этим на разных хостингах и в разных CMS. Была та же проблема - ночь, сапа, ошибки.

    И решение проблемы тоже было в коде сапы.
     
  2. deni.pc

    deni.pc

    Регистр.:
    6 сен 2006
    Сообщения:
    201
    Симпатии:
    57
    как встроить необычным?
    так он два раза в сутки ходит кажись, днем то все норм - возвращаются в исходное ОК.
     
  3. IgVan

    IgVan

    Регистр.:
    8 май 2008
    Сообщения:
    212
    Симпатии:
    54
    Ведется ли подробная статистика посещений? Меня тоже очень сильно в свое время напрягали китайские боты, которые просто ложили сайт, а потом еще отваливай хостеру за перерасход CPU Time. В общем, плюнул я на китайский трафик :D и закрыл доступ по юзер агенту:
    Код:
    Baiduspider
    SeznamBot
    Sogou
    Sosospider
    WukongBot
    YoudaoBot
    Все равно сколько помню, с их поисковиков трафика небыло. :D
     
  4. deni.pc

    deni.pc

    Регистр.:
    6 сен 2006
    Сообщения:
    201
    Симпатии:
    57
    Результаты такие:
    res.JPG
    Впрочем это видно и при выполнении top.
    Вообще, сервер у них работает на данный момент без перегруза по данным все той же команды top.
    Начинаю подумывать что боты сапы слишком резво шуршат и дописанный мною скипт не успевает за ними.
    Пошел кубаторить дальше.
     
  5. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    436
    если при обычной работе все ок -- смотри в сторону сапы


    я товарищу в такой же ситуации помог использованием клоакинга

    в index.php ( если двиг стандартный )
    в самое начало добавил php-код
    Код:
     
    // включать ли облегчитель сапы ?
    $sape_lite=1;
    $sape_code="64a821f45ce8********************";
    if($sape_lite)
    {
    	$ip=getenv("REMOTE_ADDR");
    	$arr=explode('.',$ip);
    	$ipnet=$arr[0].'.'.$arr[1].'.'.$arr[2];
    	if(substr_count(file_get_contents($sape_code."/sape_ips.txt").'   93.191.15   ',$ipnet))
    	{
    		@include_once($_SERVER['DOCUMENT_ROOT'].'/'.$sape_code.'/sape.php'); 
    		$sape = new SAPE_client();
    		echo '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru"><body>';
    		echo $sape->return_links();
    		echo '</body></html>';
    		exit();	
    	}
    }
    
    В папке сапы лежит файлик sape_ips.txt
    хотя через сапы ходит с 93.191.15.*
    но файлик, так , на всякий случай

    В результате когда заходит бот сапы для проверки наличия ссылок -- скрипты CMS не исполняются ( впрочем ты и сам видишь, php вроде знаешь )

    единственное -- при переиндексации $sape_lite ставь в 0

    Знаю что клоакинг. Но ИМХО если больше ничего не делать, мне совесть позволяет. Поисковикам ссылка отдается, людям ссылка отдается, а боту сапы твой контент нафиг не нужен

     
    deni.pc нравится это.
  6. deni.pc

    deni.pc

    Регистр.:
    6 сен 2006
    Сообщения:
    201
    Симпатии:
    57
    Дельное предложение :ay:, как сам не додумался только.
    Сегодня воткну.
    Проверим, в скриптах ли дело.
     
  7. deni.pc

    deni.pc

    Регистр.:
    6 сен 2006
    Сообщения:
    201
    Симпатии:
    57
    Вообщем после этих манипуляций УЖЕ все ссылки на месте стали, ни одной эрроре - все случилось прямо на глазах. Плюс нашел узкие места в скриптах - то что надо оптимизировать.
    Хостинг видимо реально грузил сапобот из-за недочетов в скриптах (точнее в моих дополнениях к scripto).
    Подожем до утра.

     
  8. admLoki

    admLoki генератор случайного PHP

    Регистр.:
    14 сен 2006
    Сообщения:
    481
    Симпатии:
    93
    Вы знаете, фраза "хостинг видимо реально грузил сапобот" звучит довольно смешно. Шаред-хостинг - это не VDS на 64 метра.
    Это серьезные сервера, предназначенные для большого количества клиентов.
    Да и сапобот не открывает по 250-300 потоков на ваш сайт.
    Попросите у хостера логи и разбирайтесь. Скрипты тут вряд ли причем.
     
  9. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    436
    2 admLoki: ага, так должно быть в теории
    а на практике тарифные планы большинство хостеров строят с расчетом на тихие малопосещаемые сайтики

    +нагрузка не по памяти, а по cpu

    Ты почитай условия предоставления услуг -- нагрузка не должна превышать 5-15%. Тяжелые CMS могут съедать и больше



    PS имел дело с хостингами от 100$ в год.
     
  10. admLoki

    admLoki генератор случайного PHP

    Регистр.:
    14 сен 2006
    Сообщения:
    481
    Симпатии:
    93
    Имел дело с хостингом, на котором было около 200 сайтов, большая часть - Joomla. Avg был в пределе 1.9-2.6. Сервер - относительно мощный, двухпроцессорный.
     
Статус темы:
Закрыта.