Ошибки на стороне сервера или сайта + массовое выпадение страниц из индекса

Тема в разделе "Русские поисковики", создана пользователем Freeman Liberty, 19 ноя 2013.

  1. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    468
    Симпатии:
    171
    Не задался для меня ноябрь.
    14 числа отметил резкое (более чем 50%) падение посещаемости. До этого в течении всего года она только росла.
    Полез проверять в чем дело выяснилось, что кол-во проиндексированных Яндексом страниц также сократилось более чем в двое. Сначала решил, что отхватил какой-то фильтр (хотя сайт вполне себе СДЛ).
    Но 16 ноября в панели веб-мастера появилось сообщение, что больше половины страниц сайта отвалилось из-за того что поисковым роботом Яндекса был получен "HTTP-статус: Доступ к ресурсу запрещён (403)".

    Но ни Яндекс-метрика, ни Google-аналитикс не зафиксировали проблем с доступностью сайта!
    И даже если проблемы были - неужели кратковременный сбой в работе сервера это повод вкидывать из индекса и сводить на нет результаты многих месяцев работы над сайтом?!

    Написал Платону.
    Получил вполне стандартный ответ:
    Написал еще раз, с просьбой обратить внимание на то, что ни Яндекс-метрика ни Google-аналитикс не зафиксировали проблем с доступностью сайта.
    Получил следующий ответ:

    Буду признателен за дельный совет.
    Что еще предпринять в данной ситуации?
     
  2. bat

    bat

    Регистр.:
    24 сен 2009
    Сообщения:
    975
    Симпатии:
    277
    у меня на одном из сайтов такая фигня, причем страницы вылетают не все, а только некоторые, это заметно когда бот ходит часто, в итоге получается что весь сайт "моргает", а проблема у меня, как оказалось в том что БД находится на одном серваке, а сайм сайт на другом, ну и типа они не синхронятся как положено, так как находятся в разных местах физически.
     
    Freeman Liberty нравится это.
  3. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    468
    Симпатии:
    171
    Напишу хостеру, может действительно поможет.
    Но если бы такая проблема действительно была - выпадение случалось бы регулярно. А у меня это первый случай за 3 года.
     
  4. bat

    bat

    Регистр.:
    24 сен 2009
    Сообщения:
    975
    Симпатии:
    277
    А может проблемы и не было, а потом хостер или провайдер чего настегал, технические работы в ДЦ как вариант? У меня она тоже не постоянная, может как-то от прокачки DNS зависит или что, мне друган например иногда пишет что у него сайт не пашет, а я захожу и нормально открывается, тут к гадалке не ходи что провайдеры гонят.
     
  5. mpv

    mpv Постоялец

    Регистр.:
    30 апр 2013
    Сообщения:
    68
    Симпатии:
    13
    если сам с правами доступа или настройкой сервера ничего не делал, то стоит поискать другого хостинг провайдера
     
  6. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    468
    Симпатии:
    171
    Не пойму, только почему такая уверенность в том, что проблема на стороне хостера?
    Я вот больше склоняюсь к версии, что это глюк Яндекса.
    Во-первых, как я уже говорил, ни метрика, ни аналитикс проблем с сайтом не зафиксировали.
    Во-вторых, если я правильно понимаю, Яндекс не выбрасывает страницы из индекса только за то, что до них однажды не смог достучаться робот. У меня некоторые сайты еще месяц находятся в индексе после того, как с них установлен редирект. Т.е. сайт уже месяц недоступен, а страницы по прежнему в индексе.
     
  7. bat

    bat

    Регистр.:
    24 сен 2009
    Сообщения:
    975
    Симпатии:
    277
    Это не уверенность, а лишь предположение, что сразу понятно из текста. Просто речь о том что причин может быть масса, в данном случае если Платон ясно и недвусмысленно ответил что была ошибка 403, что само по себе наводит только на мысль про проблемы именно на хостинге, здесь может быть как блокировка IP с которых лазит бот Яшки, так и ожидание обновления кеша DNS, или запрета на открытие системных папок сервака из .htaccess, а может на сервере было обновлено ПО и установлена какая-нибудь фича которая опять же запрещает посещение.
    Дык там другие скрипты и правила )))
    Имхо, проблема точно не у яндекса
     
  8. Freeman Liberty

    Freeman Liberty

    Регистр.:
    19 май 2009
    Сообщения:
    468
    Симпатии:
    171
    Написал запрос я саппорт хостинга.
    Получил следующий ответ:




    Я не особо понимаю в логах.
    Но плагин (компонент) о котором идет речь установлен на сайте с момента его создания и отвечает за формирование SEF (ЧПУ) ссылок сайта. Т.е. отключить его не возможно, да и проблем раньше с ним не наблюдалось.
    - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    Вроде нашел в чем может быть причина.
    Если я правильно понял, то ошибки могут быть связаны с тем, что в компоненте установлены настройки безопасности "анти-флуд" контроль?
    Сейчас задано время в секундах сверх которого контролируются запросы с одного IP - 10 сек. Максимальное число запросов - 10 т.е. возможно не более 10 запросов за 10 сек с одного IP.
    Стоит ли отключить антифлуд или просто увеличить число возможных запросов?
     
    Последнее редактирование: 19 ноя 2013
  9. arabchik

    arabchik

    Регистр.:
    3 окт 2008
    Сообщения:
    288
    Симпатии:
    209
    Стоит, хотя бы на время чтобы посмотреть насколько это повлияет на возврат страниц.
     
  10. Maybe

    Maybe

    Moderator
    Регистр.:
    7 июл 2008
    Сообщения:
    1.158
    Симпатии:
    1.198
    У вас по логам все понятно:
    ./administrator/components/com_sh404sef/logs/2013-10-sh404SEF_security_log.166.log:368:2013-10-0214:11:46Flooding37.57.133.189189.133.57.37.triolan.net

    Отключайте анти-флад контроль и все должно быть нормально.