что такое клоакинг скрипт ???

[cwll]

не знаю как там у Хуяндекса,но если клоачить гуглебота,то связка IP+агент+еще кой чего ,дает замечательные результаты...

Забанят по стуку, если кому-то белому, и даже черному помешаешь. А помешаешь обязательно. Черному тоже - разве что резонная мысль "сам такой" помешает, но другая резонная мысль "бабла хочу!" вполне может перевесить совесть.

 

[stooper]

не знаю как там у Хуяндекса,но если клоачить гуглебота,то связка IP+агент+еще кой чего ,дает замечательные результаты...
только вот грамотный такой скриптец,с постоянно обновляемым списком IPов стоит оооой как дорого

а + еще кой чего --- это интересно чего? ))
не знаю, как на счет ой как дорого, но как по мне, так вести базу ботов проблемы никакой нет, уже это все есть для того, что бы ботов ловить я встречал много скриптов, которые нормально работают, даже включая то, что скрипты фриварные. только переписываешь под mysql, что бы хранить было удобнее, и все. единственное, так это то, что ловятся только те боты, которые "заходят" как боты, т.е. которых можно по UA определить, и хотябы подсети поисковика.

 

[Covax]

а + еще кой чего --- это интересно чего? ))
не знаю, как на счет ой как дорого, но как по мне, так вести базу ботов проблемы никакой нет, уже это все есть для того, что бы ботов ловить я встречал много скриптов, которые нормально работают, даже включая то, что скрипты фриварные. только переписываешь под mysql, что бы хранить было удобнее, и все. единственное, так это то, что ловятся только те боты, которые "заходят" как боты, т.е. которых можно по UA определить, и хотябы подсети поисковика.

Ну базу вести конечно не проблема, но вот такая база в которой есть IP этих самых "не ботов" и стоит дорого, а самому такую базу очень тяжело собрать будет.

 

[falc]

Ну базу вести конечно не проблема, но вот такая база в которой есть IP этих самых "не ботов" и стоит дорого, а самому такую базу очень тяжело собрать будет.

а как её вообще можно собрать? по признаку, что после захода с конкретного ip забанили страницу?

 

[Covax]

а как её вообще можно собрать? по признаку, что после захода с конкретного ip забанили страницу?

А х.е.з. Но ведь собирают как-то.

 

[Jacob]

мое мнение - гуглу **х не нужны секретные не ботовые боты. но если все ж кто-то хочет попробовать их наловить, даю рецепт

1) берем N жирных страниц, которые известны гуглу и куда часто наведывается гуглбот

1а) приказываем гуглу не ложить их в кэш

2) берем свежий чистый домен и генерим на нем M страниц с длинными рандомными именами и бесполезным контентом, который никогда никто не будет искать

3) начинаем показывать на N страницах ссылки на сгенеренные M страниц только тем, кто ходит с юзерагентом гуглбота и из-под сети гугла

4) записываем тех, кто будет приходить на M страницы

т.к. никто про сгенеренные страницы кроме как от гуглбота узнать не может, а через поиск на них не попасть раз контент бредовый, то придти может только понятно кто

 

[falc]

Да, забавная история получается, не так уж и сложно на самом деле.

 

[Covax]

Да, забавная история получается, не так уж и сложно на самом деле.

Ну это всё только теория. Может на самом деле и вправду нет таких ботов, а может у гугла сидит 1 000 китайцев, которые вручную просматривают сайты. Кто знает этого гугла.

 

[i++]

А для определения бот/юзер всякие хитрые JS редиректы не прокатят? Т.е. браузер исполнит скрипт и покажет нужную юзеру странницу, а бот не исполнит и увидит нужную боту. Либо даже не редиректы, а скажет content switcher'ы, не обязательно там банальный редирект может быть. На этом же принципе можно детектить ботов и накапливать их реквизиты в базу Количество реальных пользователей с отключенным JS думаю совсем невелико.

 

[vlad_v]

не знаю как там у Хуяндекса,но если клоачить гуглебота,то связка IP+агент+еще кой чего ,дает замечательные результаты...
только вот грамотный такой скриптец,с постоянно обновляемым списком IPов стоит оооой как дорого

имеет кто на форуме грамотный такой скриптец???