Что мешает ПС использовать "человеческий" юзер-агент?

Тема в разделе "Вопросы новичков", создана пользователем dump1111, 19 июл 2010.

Статус темы:
Закрыта.
  1. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    А что мешает ботам поисковых систем использовать обычный юзерагент, который используют все браузеры, ведь это бы исключило возможность клоакинга?
     
  2. Anton

    Anton ¯\_(ツ)_/¯

    Moderator
    Регистр.:
    28 авг 2007
    Сообщения:
    652
    Симпатии:
    639
    Где написнно что они не используют?)
     
  3. afonya09

    afonya09

    Регистр.:
    31 янв 2009
    Сообщения:
    260
    Симпатии:
    18
    Почему не написано очень даже. YandexBot GoogleBot StackRambler Даже если они уйдут от этого IP никто не отменял.
     
  4. Shred

    Shred

    Регистр.:
    14 июл 2008
    Сообщения:
    534
    Симпатии:
    58
    но ИП сменить как бы тоже не проблема
     
  5. mefisto

    mefisto Оптимист

    Регистр.:
    9 дек 2008
    Сообщения:
    319
    Симпатии:
    195
    Мне кажется они и так неплохо справляются, а увеличение объема информации может резко отразиться на скорости обработки да и жестких дисков придется прикупить еще пару сотен тысяч.
     
  6. starche

    starche

    Регистр.:
    5 янв 2009
    Сообщения:
    299
    Симпатии:
    45
    Когда прочел название темы, сразу возникло желание ответить "А кто вам сказал, что они его не используют?", но antonanet меня опередил. Не ужели вы и вправду думаете что в яндексе идиоты сидят =)
     
  7. syslik666

    syslik666

    Регистр.:
    17 апр 2009
    Сообщения:
    166
    Симпатии:
    13
    При этом часто вижу в топе гугла доры именно с клоакингом.
     
  8. Anton

    Anton ¯\_(ツ)_/¯

    Moderator
    Регистр.:
    28 авг 2007
    Сообщения:
    652
    Симпатии:
    639
    А кто сказал что клоакинг не юзают и он не работает?

    Клоакинг может быь не только по юзер-агенту и тд...:)
     
  9. dump1111

    dump1111

    Регистр.:
    7 июл 2009
    Сообщения:
    266
    Симпатии:
    8
    Ну клоакинг может быть ещё и по ip, но это не реальный способ, так как их очень много и они часто меняются, а про то, что ПС ипользуют человеческий юзерагент - ну сами посмотрите, как часто они его используют? Практически никогда... У них есть ряд официальных названий ботов и их как правлио они и вставляют в юзерагенты.
    А при чём здесь ресурсы? Человеческий юзерагент нисколько не отнимет ресурсов...
     
  10. awx

    awx Создатель

    Регистр.:
    7 апр 2009
    Сообщения:
    43
    Симпатии:
    4
    боты гугля например не только под юзерскими реферрами умеют ходить
    они еще и умеют регистрироваться в форумах/попадать в закрытые разделы и, разумеется, сканировать NOINDEX-материалы
     
Статус темы:
Закрыта.