Просто феноменально :)

Тема в разделе "Мегафлуд", создана пользователем _aleksey_, 3 июн 2009.

Статус темы:
Закрыта.
  1. _aleksey_

    _aleksey_

    Регистр.:
    14 июл 2008
    Сообщения:
    326
    Симпатии:
    20
    1. http://yandex.ru/robots.txt
    User-Agent: *
    Disallow: /

    2. http://help.yandex.ru/webmaster/?id=996567

    Использование директив Disallow и Allow.

    Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:
    User-agent: Yandex
    Disallow: / # блокирует доступ ко всему сайту


    3. http://yandex.ru/yandsearch?serverurl=www.yandex.ru
    Нашлось 4 страницы

    Во дают... :D
     
  2. Псевдоним

    Псевдоним

    Регистр.:
    23 фев 2009
    Сообщения:
    300
    Симпатии:
    68
    Ничего феноменального, после следующего АПа всё будет как надо.
     
  3. _aleksey_

    _aleksey_

    Регистр.:
    14 июл 2008
    Сообщения:
    326
    Симпатии:
    20
    Проиндексировалось то, что запрещено. Еще и где - в самом Яндексе. А подкрутить руками можно все что угодно... Если же вы не видете в этой ситуации ничего сверхестественного - тогда можно было просто проходить мимо, без камментов.
     
  4. baltazorg

    baltazorg

    Регистр.:
    7 авг 2008
    Сообщения:
    203
    Симпатии:
    71
    А Вы попробуйте так: http://www.yandex.ru/robots.txt
    Он отличается от того, что по адресу без www.
     
  5. tatams

    tatams

    Регистр.:
    15 май 2009
    Сообщения:
    501
    Симпатии:
    84
    Угу. Скорее всего просто чтобы избежать доп. дублирования без-wwwшных вариантов другими поисковиками
     
  6. Markelo

    Markelo Создатель

    Регистр.:
    13 май 2009
    Сообщения:
    10
    Симпатии:
    0
    Поддерживаю эту версию. Встречал несколько раз такую ситуацию. А вот как такое разделение сделать я не знаю. Может кто-нибудь объяснит?
     
  7. ~S_Ozerin

    ~S_Ozerin Писатель

    Регистр.:
    17 июн 2007
    Сообщения:
    5
    Симпатии:
    1
    для большинства поисковиков site.ru и www.site.ru - разные сайты поэтому и различные роботсы
     
  8. vitrexxx

    vitrexxx Читатель

    Заблокирован
    Регистр.:
    19 апр 2008
    Сообщения:
    4
    Симпатии:
    7
    что с www что без оного - нашлось 49 страниц :confused:
     
Статус темы:
Закрыта.