Что мешает ПС использовать "человеческий" юзер-агент?

[dump1111]

А что мешает ботам поисковых систем использовать обычный юзерагент, который используют все браузеры, ведь это бы исключило возможность клоакинга?

 

[Anton]

Где написнно что они не используют?)

 

[afonya09]

Почему не написано очень даже. YandexBot GoogleBot StackRambler Даже если они уйдут от этого IP никто не отменял.

 

[Shred]

Почему не написано очень даже. YandexBot GoogleBot StackRambler Даже если они уйдут от этого IP никто не отменял.

но ИП сменить как бы тоже не проблема

 

[mefisto]

Мне кажется они и так неплохо справляются, а увеличение объема информации может резко отразиться на скорости обработки да и жестких дисков придется прикупить еще пару сотен тысяч.

 

[starche]

Когда прочел название темы, сразу возникло желание ответить "А кто вам сказал, что они его не используют?", но antonanet меня опередил. Не ужели вы и вправду думаете что в яндексе идиоты сидят =)

 

[syslik666]

При этом часто вижу в топе гугла доры именно с клоакингом.

 

[Anton]

При этом часто вижу в топе гугла доры именно с клоакингом.

А кто сказал что клоакинг не юзают и он не работает?

Клоакинг может быь не только по юзер-агенту и тд...

 

[dump1111]

Ну клоакинг может быть ещё и по ip, но это не реальный способ, так как их очень много и они часто меняются, а про то, что ПС ипользуют человеческий юзерагент - ну сами посмотрите, как часто они его используют? Практически никогда... У них есть ряд официальных названий ботов и их как правлио они и вставляют в юзерагенты.

жестких дисков придется прикупить еще пару сотен тысяч.

А при чём здесь ресурсы? Человеческий юзерагент нисколько не отнимет ресурсов...

 

[awx]

боты гугля например не только под юзерскими реферрами умеют ходить
они еще и умеют регистрироваться в форумах/попадать в закрытые разделы и, разумеется, сканировать NOINDEX-материалы