Урезание жадности

Тема в разделе "Поисковые машины", создана пользователем borodatych, 27 июл 2016.

Метки:
Модераторы: Sorcus
  1. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    Здравствуйте.

    Организовал простенькую защиту от множественной загрузки - в секунды можно сделать 5-ть обращений к серверу, иначе отдаю код 300 (Multiple Choices).
    Возник вопрос, как на это отреагируют поисковые машины?
    Не перестанут ли индексировать поисковики?
    Не выпадут ли страницы из индекса?

    Спасибо.

    UPD: Яндекс в кабинете уже такое отдал:
     
  2. cocs

    cocs

    Регистр.:
    5 дек 2009
    Сообщения:
    513
    Симпатии:
    215
    Ну если яндекс будет всегда шестым, то однозначно ему это не понравится. Страницы из индекса врядли выпадут, но топа им точно не видать.
     
  3. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.329
    Симпатии:
    2.300
    Сообщи об этой настройке Яндексу через robots.txt и будет тебе счастье...
     
  4. dmx

    dmx

    Заблокирован
    Регистр.:
    22 июн 2011
    Сообщения:
    693
    Симпатии:
    611
    странное решение.
    если сервер не выдерживает поисковиков, есть директива Crawl-delay, чтоб задать паузу. А не нужных ботам разным запретить доступ.
     
  5. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    Подскажите плиз как настройка называется.
    UPD: Сори, сперва ответил, потом сложил воедино. Вы про Crawl-delay. Не подходит, так как нет уверенности, что ее примут во внимание, плюс не спасает от ботсетей.

    Нас, как мне сказали не большая, ботсеть китайская долбила с ≈1600-1900 уникальных IP.
    Пришлось принять решение.
    Если у вас есть чем поделиться, то с удовольствием выслушаю.
    И есть уверенность, что на директиву Crawl-delay обращают внимание?
    В любом случае, с ботсетью это не прокатит.

    Вижу только один вариант, добавить, опять таки, если поисковикам не понраву такое, в список исключения IP-шки нужных поисковиков?
     
    Последнее редактирование: 28 июл 2016
  6. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.329
    Симпатии:
    2.300
    borodatych, Crawl-delay для того и задаётся, чтобы поисковик не превышал это значение. Превышает - получает законный Error 500/503...
    Т.е. я не говорю отменять настройки nginx (я так понял, ты через него запретил больше 5 обращений), я сказал оповести об этой настройке поисковик...
     
  7. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    К сожалению нет, свой велосипед, через скрипт.
    Если переделаю на nginx, то как сообщить?
     
  8. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.329
    Симпатии:
    2.300
    Я же говорю - укажи Crawl-delay...

    Все поисковики с ним дружат и будут ждать положенные 2-3 секунды... Ну или сколько задашь. А боты, ддосы и прочее - будут получать ошибку (от твоего скрипта/nginx). Только код ошибки смени на 503 Service Unavailable хотя бы... Вот 300-ую если Яндекс получит хорошего не жди уж точно.
     
    Renny и borodatych нравится это.
  9. Горбушка

    Горбушка Ищу её...

    Регистр.:
    2 май 2008
    Сообщения:
    3.329
    Симпатии:
    2.300
    Т.е. не надо ставить Crawl-delay вместо... Просто через Crawl-delay ты объясняешь поисковику, почему он получает ошибки... Как следствие - поисковик будет реже обращаться, а ошибки в вебмастере не будут появляться...
     
    Renny и borodatych нравится это.
  10. borodatych

    borodatych Постоялец

    Регистр.:
    24 июн 2016
    Сообщения:
    100
    Симпатии:
    58
    Не знаю ваше направление, но знакомый "сеошник" рекомендовал почему то 403 ответ.
    Какой предпочтительнее и в чем существенно отличаются?
    Определения прочитал, но принципиальность отличий не понял, вроде оба хороши...