про нововведение яндекса в robots.txt

Тема в разделе "Русские поисковики", создана пользователем seoadr, 11 янв 2008.

Статус темы:
Закрыта.
  1. seoadr

    seoadr Постоялец

    Регистр.:
    22 апр 2007
    Сообщения:
    128
    Симпатии:
    19
    к примеру на сайте http://www.site.ru есть следующие страницы:

    http://www.site.ru/index.phtml
    http://www.site.ru/index.phtml?cid=8590
    http://www.site.ru/index.phtml?mtid=45&cid=80
    http://www.site.ru/index.phtml?mtid=45
    http://www.site.ru

    мне нужно закрыть для индексирования все страницы в названии которых встречается: &cid= (но не ?cid= )

    если вот так прописать в robots.txt :

    User-Agent: *
    Disallow: *&cid=*

    яндекс поймёт?
    если нет то как надо?
     
  2. devit

    devit Читатель

    Заблокирован
    Регистр.:
    25 авг 2007
    Сообщения:
    65
    Симпатии:
    30
    Да, поймет в связи с последними изменениями алгоритма обработки файлов robots.txt, теперь и гугля и яндекс понимают символы подстановки.

    Подробнее о синтаксисе robots.txt для Яндекса:
    http://webmaster.yandex.ru/faq.xml?id=996583
     
  3. seoadr

    seoadr Постоялец

    Регистр.:
    22 апр 2007
    Сообщения:
    128
    Симпатии:
    19
    покумекал...
    пришел к нескольким решениям своей проблемы:

    User-Agent: *
    Disallow: /index.phtml?*&cid=

    (этот вариант яндекс должен понять, а гугля не знаю)
    (из хелпа яндекса:
    User-agent: Yandex
    Disallow: /add.php?*user=
    # запрещает все скрипты 'add.php?' с параметром 'user')


    User-Agent: *
    Disallow: /*&cid=

    (а этот гугля поймёт, а вот яндекс...?)
    (из хелпа google:
    User-Agent: *
    Disallow: /*?

    Строка Disallow:/ *? блокирует доступ ко всем URL-адресам со знаком вопроса (то есть, все URL, которые начинаются с имени домена и содержат цепочку, внутри которой встречается знак вопроса).
    )

    подскажите :thenks: наиболее корректный вариант?
     
  4. devit

    devit Читатель

    Заблокирован
    Регистр.:
    25 авг 2007
    Сообщения:
    65
    Симпатии:
    30
    один фиг для Яндекса отдельные указания надо прописывать (из-за 'host' например), я бы 2 блока составил один для гугли(user-agent: *), один для яндекса (user-agent: Yandex)
     
  5. need help

    need help

    Регистр.:
    2 сен 2007
    Сообщения:
    149
    Симпатии:
    11
    В сервисе для вебмастера добавляете сайт, подтверждаете на него права и потмо можете спокойно проверить синтаксис своего robots.txt, какие страницы закрыты от индексации, а какие открыты.
     
  6. evgenii

    evgenii

    Регистр.:
    16 июл 2007
    Сообщения:
    171
    Симпатии:
    27
Статус темы:
Закрыта.