Правильно ли составлен роботс?

Тема в разделе "Русские поисковики", создана пользователем LEXAlForpostl, 2 фев 2010.

Статус темы:
Закрыта.
  1. LEXAlForpostl

    LEXAlForpostl

    Регистр.:
    21 май 2008
    Сообщения:
    708
    Симпатии:
    225
    Здравствуйте.
    Подскажите пожалуйста, правильно ли составлен файл роботс для Яндекса?

     
  2. scratcherz

    scratcherz Писатель

    Регистр.:
    12 май 2008
    Сообщения:
    7
    Симпатии:
    0
    Правильно User-agent: Yandex
     
  3. hipachka

    hipachka

    Регистр.:
    16 мар 2009
    Сообщения:
    391
    Симпатии:
    77
    А что вы хотели сделать? И какие цели преследуете ?
     
  4. EnGeLs

    EnGeLs Постоялец

    Регистр.:
    30 апр 2008
    Сообщения:
    87
    Симпатии:
    21
    Тогда уж лучше так:
     
  5. webru

    webru Постоялец

    Регистр.:
    30 сен 2008
    Сообщения:
    104
    Симпатии:
    3
    СЕли зыкрыть индексацию для всех роботов то User-agent: *, если для яндекса User-agent: Yandex.
     
  6. Dark_YS_Shark

    Dark_YS_Shark Постоялец

    Регистр.:
    1 июл 2007
    Сообщения:
    118
    Симпатии:
    8
    User-agent: Yandex
    Disallow: /stats/16866-sait-domain-ru.html
    Disallow: /2009/03/19/project-in-russia.html
     
  7. too

    too Постоялец

    Регистр.:
    17 ноя 2008
    Сообщения:
    85
    Симпатии:
    12
    Для яндекса так, для остальных:

    User-agent: *
    Disallow: /stats/16866-sait-domain-ru.html
    Disallow: /2009/03/19/project-in-russia.html
     
  8. fima32

    fima32

    Регистр.:
    25 дек 2007
    Сообщения:
    201
    Симпатии:
    13
    Чтобы каждый файл статистики не перечислять, достаточно
    User-agent: *
    Disallow: /stats/
     
    kadafi13 нравится это.
  9. Nei

    Nei Nosce te ipsum

    Регистр.:
    5 сен 2009
    Сообщения:
    600
    Симпатии:
    468
    Я бы еще советовал директиву host указать, у яши бывает робота-зеркальщика глючит.
     
  10. topseller

    topseller Писатель

    Регистр.:
    8 окт 2009
    Сообщения:
    8
    Симпатии:
    3
    Робот

    У меня 3 повторяющиеся товара. Нужно 2 из них закрыть в файле Роботс.
    Disallow: /product.php?view_product=12001
    Можно ли закрывать динамические ссылки например вот так как показано выше?
     
    kadafi13 нравится это.
Статус темы:
Закрыта.