1. Уважаемые пользователи, прежде чем ответить в теме или создать новую,
    внимательно ознакомьтесь с правилами раздела

    Кому лень работать или руки не оттуда - пользуйтесь услугами специалистов
  2. Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.."

    Есть JED!!! Ищите там!!!

Как выяснить причины падения сайта?

Тема в разделе "Joomla", создана пользователем Freeman Liberty, 9 янв 2011.

Информация :
  • Уважаемые пользователи, прежде чем ответить в теме или создать новую, внимательно ознакомьтесь с правилами раздела
  • Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.." Есть JED!!! Ищите там!!!
  • Аналоги ищите там же - на JED!!!
  • Новая версия? - У кого будет - тот выложит!
Статус темы:
Закрыта.
Модераторы: arman29, DMS, Genk0
  1. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    457
    Симпатии:
    171
    Где то около двух месяцев назад хостер стал регулярно отключать сайт. В первый раз пришло сообщение следующего содержания:
    С тех пор подобные письма приходить перестали но достаточно часто (насколько часто сказать затрудняюсь) вместо сайта можно увидеть страничку "Сайт отключен на 15 минут за превышение лимита.... и т.д."
    Происходит это в самое разное время суток и по видимому не зависит от количества посещений (т.е. в день когда было 500 уников сайт не падает а когда 200 падает).
    Сегодня в очередной раз столкнулся с этой ситуацией и заметил что сайт как раз в это время посещал google bot который припал на форму "Поиск по сайту".
    В связи с этим вопрос может ли быть причиной падения - злоупотребление google bot поиском по сайту?
    Если да - то что можно предпринять?
    Если нет - то где еще искать?
    Заранее спасибо за помощь !
     
  2. bork75

    bork75 Д☼брая собака )

    Регистр.:
    21 июн 2008
    Сообщения:
    1.449
    Симпатии:
    716
    Конечно может, особенно на слабых хостингах, поисковик может существенно "съесть" ресурсы.

    Если в логах видно, что бот больше всего ходит по поиску, то нужно закрыть от него такие страницы, прописав соответственный путь в robots.txt, например

    Код:
    User-agent: *
    Disallow: /index.php?searchword
    Для лучшей организации индексации сайта поисковиком, нужно использовать xml карту сайта, для joomla, например плагин Xmap, а также отдавать правильно заголовки страниц, что бы поисковик индексировал только новые страницы.
     
    Freeman Liberty нравится это.
  3. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    457
    Симпатии:
    171
    А есть ли другие пути кроме как блокировка через robots.txt?
    Потому как именно благодоря страницам которые google индексирует по поиску на сайте я так понимаю возрастает трафик на сайт.
    К примеру на этом сайте у меня всего около 250 страниц а в индексе у googla 2170, у яндекса 400. И я так понимаю значительная часть этих страниц это страницы результатов поиска по сайту.

    Да что касается xmap он конечно есть. Заголовки тоже должны быть правильные - стоит Sh404sef
     
  4. shamantc

    shamantc ЗлОй ШаМан

    Заблокирован
    Регистр.:
    3 ноя 2008
    Сообщения:
    655
    Симпатии:
    184
    Можно посмотреть в логах или в большинства панелей управления хостинга/сервера есть статистика по использованию ресурсов и т.п.
     
  5. Nei

    Nei Nosce te ipsum

    Регистр.:
    5 сен 2009
    Сообщения:
    599
    Симпатии:
    470
    Судя по письму хостера не только поиск нагружает сервак...другие модули тоже вносят свою лепту. Оно, впрочем и не удивительно. Джумла и этим всё сказано.
    Закрывайте от поисковиков по возможности страницы с проблемными компонентами, либо же их самих вырубайте если есть возможность. Если нет - меняйте хостера.
    Есть еще более экстремальный вариант - меняйте админку к сайту :)
     
  6. smalllamer

    smalllamer Организм

    Регистр.:
    20 сен 2009
    Сообщения:
    318
    Симпатии:
    126
    Советы конечно можно использовать, как вариант...
    Но лучше сделайте так в robots.txt:
    Код:
     User-agent: *
     Crawl-delay: 10
    Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.
     
    Freeman Liberty нравится это.
  7. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    457
    Симпатии:
    171
    Спасибо!
    Наверное воспользуюсь этим советом.
    Единственно волнует не скажеться ли увеличение Crawl-delay на индексации сайта?
     
  8. smalllamer

    smalllamer Организм

    Регистр.:
    20 сен 2009
    Сообщения:
    318
    Симпатии:
    126
    Абсолютно. Ведь робот просто не будет посылать десятки запросов в секунду, а на остальные параметры не повлияет.
     
  9. Paroxizm

    Paroxizm Создатель

    Регистр.:
    30 июл 2009
    Сообщения:
    30
    Симпатии:
    11
    Однозначного ответа на Ваш вопрос не будет. Надо подходить со всех сторон сразу:

    1. Ограничение поисковиков через robots.txt
    2. Установка nginx или подобного front-end сервера
    3. Компрессия страниц и ресурсов (предварительное ручками и динамическое через GZip)
    4. Указание правильных E-Tag, Expire и прочих заголовков, влияющих на кеширование ресурсов у клиента
    5. Перенос части ресурсов со своего сайта в CND
    6. Оптимизация списка элементов самой Jomla! (отключение лишних или крайне редко используемых)
    7. Чистка базы материалов, удаление старых данных, к которым нет обращений пользователей. Как правило поисковик нагибает сервер именно при индексировании таких материалов, т.к. часто используемые находятся в кеше БД или CMS и не требуют дополнительных операций подгрузки с диска.
    8. Анализ и оптимизация скриптов, работающих с графикой или вычислениями (всякие красивости типа водяных знаков, чартов, динамического Flash и прочего)

    Если ничего не поможет - надо менять провайдера или тарифный план.
     
  10. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    457
    Симпатии:
    171
    Продолжил поиски на форуме поддержки Google.
    Как выясняеться параметр Crawl-delay скорее всего никак не повлияет на работу google bot.
    Для настройки скорости сканирования в панели веб-мастера Google есть специальный инструмент подробнее тут
     
Статус темы:
Закрыта.