зеркало для робота

Тема в разделе "Русские поисковики", создана пользователем ram222, 3 авг 2012.

  1. ram222

    ram222 Da Vinci

    Регистр.:
    27 апр 2009
    Сообщения:
    749
    Симпатии:
    73
    Случилась небольшая беда, похоже в момент обращения робота яши сервер не работал (или глючил) и теперь недоступные в тот момент страницы исключены из поиска... Хотя раньше яша так не делал :mad: .
    Есть идея сделать дубль или зеркало на другом сервере , чтобы исключить в будущем эти проблемы. Но как это грамотно сделать не знаю, подскажите.
     
  2. ram222

    ram222 Da Vinci

    Регистр.:
    27 апр 2009
    Сообщения:
    749
    Симпатии:
    73
    Неужели никто не сталкивался с такой бедой?
    Понимаю, что надо просто подождать очередного апа, но хочется исключить такое в будущем.
     
  3. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.155
    А может проблема не в этом? Были подобные ситуации с одним сайтом. В общем, если затык с сервером, то серверные ошибки и должны выдаваться, например 504, но никак не 404. И при 504 ошибке, паук просто должен вернуться через какое-то время для повторной проверки. А зеркалировать можно, проблема только будет в синхронизации копий, если ресурс высокопосещаемый и частообновляемый. И потом я сталкивался на разных хостингах и с другими проблемами, яндекс периодически меняет IP пауков в рамках борьбы против клоакинга, и не всегда сообщает новые айпишники хостингам и те блочат робота за высокую нагрузку, было 2-а таких случая на мастерхосте и на наунете - пару лет назад, вроде потом бывало ещё на других - тогда сотни сайтов страдали. Т.е. тут как быть, если даже не будешь знать что паук посещал тебя, поймёшь когда страницы повылетают и письмо в саппорт напишешь.
     
  4. gangsta-rap

    gangsta-rap Постоялец

    Регистр.:
    10 июл 2007
    Сообщения:
    121
    Симпатии:
    28
    Вы уверены, что причина выпадения страниц именно в неработоспособности Вашего сервера? Проверьте в Я.Вебмастере в разделе "Исключённые страницы" - "По типу". А сделать зеркало не проблема, достаточно в robots.txt прописать директиву Хост, только я пока не очень представляю как сделать так, что в случае неработоспособности основного сайта выдавалось зеркало.
     
  5. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.155
    эта директива нужна для того чтобы сообщить яндексу какой из зеркальных доменов главный. А ТС, спрашивает о зеркальных серверах, т.е. при неработоспособности одного должен подключаться другой автоматом - а домен один. Поэтому host идёт лесом. Тут задача более сложная.
     
  6. ram222

    ram222 Da Vinci

    Регистр.:
    27 апр 2009
    Сообщения:
    749
    Симпатии:
    73
    В вебмастере страницы исключены из за того что были недоступны "HTTP-статус: Ресурс не найден (404)".
     
  7. Sergo_Sev

    Sergo_Sev Творец

    Регистр.:
    14 июн 2008
    Сообщения:
    571
    Симпатии:
    188
    Вот и ответ на вопрос 404 - страницы больше нет, а вот 504 - сервер недоступен, так что нужно в настройках сервера копаться
     
  8. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.155
  9. blogov-net

    blogov-net Писатель

    Регистр.:
    3 май 2012
    Сообщения:
    4
    Симпатии:
    0
    Есть два подхода.
    1) использовать так называемый round robin метод. Подробнее тут - http://ru.wikipedia.org/wiki/Round_robin_DNS
    2) Использовать свой промежуточный load balancer сервер.
     
  10. intkilos

    intkilos Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    144
    Симпатии:
    56
    Если Вы хотите сделать только для Яши, а не для посетителей, то как только начинаются глюки, отсеиваете пользовотелей по ряду факторов, а поисковых ботов оставляете. Это существенно снизит нагрузку.
    А со вторым IP для поисковиков вряд ли получится, так как у них очень ценно время ответа, а при недоступности первичного ДНС сервера время уже будет секунд 15.