Просто феноменально :)

[_aleksey_]

1.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

User-Agent: *
Disallow: /

2.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Использование директив Disallow и Allow.

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту


3.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Нашлось 4 страницы

Во дают...

 

[Псевдоним]

Ничего феноменального, после следующего АПа всё будет как надо.

 

[_aleksey_]

Ничего феноменального, после следующего АПа всё будет как надо.

Проиндексировалось то, что запрещено. Еще и где - в самом Яндексе. А подкрутить руками можно все что угодно... Если же вы не видете в этой ситуации ничего сверхестественного - тогда можно было просто проходить мимо, без камментов.

 

[baltazorg]

А Вы попробуйте так:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Он отличается от того, что по адресу без www.

 

[tatams]

Угу. Скорее всего просто чтобы избежать доп. дублирования без-wwwшных вариантов другими поисковиками

 

[Markelo]

Угу. Скорее всего просто чтобы избежать доп. дублирования без-wwwшных вариантов другими поисковиками

Поддерживаю эту версию. Встречал несколько раз такую ситуацию. А вот как такое разделение сделать я не знаю. Может кто-нибудь объяснит?

 

[~S_Ozerin]

для большинства поисковиков site.ru и Для просмотра ссылки Войди или Зарегистрируйся - разные сайты поэтому и различные роботсы

 

[vitrexxx]

Нашлось 4 страницы

что с www что без оного - нашлось 49 страниц