Как правильно прописать robots.txt для зеркала

Тема в разделе "Вопросы новичков", создана пользователем demon201984, 9 фев 2011.

Статус темы:
Закрыта.
  1. demon201984

    demon201984 Постоялец

    Регистр.:
    27 сен 2008
    Сообщения:
    132
    Симпатии:
    19
    Необходимо правильно прописать robots.txt для зеркала, чтобы обозначить основное зеркало. Как это сделать грамотно в моем случае не пойму.

    Имеется сайт: www.site.ru
    его полным зеркалом является раздел на сайте www.site1.ru/forum

    www.site1.ru - является уникальным сайтом, зеркал у него нет, соответственно, так как robots.txt хранится лишь в корне сайта я не могу прописать в нем значение Host: www.site.ru - что позволило бы определить что главным является данный хост.

    Для сайта www.site.ru в данный момент прописано в robots.txt:
    Host: www.site.ru
    Для сайта www.site1.ru/forum Host: www.site1.ru

    В итоге Яндекс определил что главным все же является www.site1.ru и www.site.ru в поисковой выдаче резко упал. Хотя зеркалом является лишь раздел на сайте.

    Помогите, очень нужно решить проблемку
     
  2. vbnm070

    vbnm070

    Регистр.:
    13 май 2008
    Сообщения:
    370
    Симпатии:
    193
    как вариант сделать 301 редирект с www.site1.ru/forum на www.site.ru, либо закрыть от индексации www.site1.ru/forum. Может скоро яндекс начнет поддерживать тег canonical
     
  3. demon201984

    demon201984 Постоялец

    Регистр.:
    27 сен 2008
    Сообщения:
    132
    Симпатии:
    19
    Неужели нет других вариантов? Как временное решение все же решил запретить индексацию www,site1.ru/forum - жаль конечно, он реально популярнее чем www.site.ru.
     
  4. Sergjuos

    Sergjuos Постоялец

    Регистр.:
    5 фев 2010
    Сообщения:
    96
    Симпатии:
    10
    Подход для определения главного сайта с точки зрения яши и гугля несколько различаются.

    Для яндекса:
    Прописываем в robots.txt на приклеиваемом домене
    User-agent: Yandex
    Disallow:
    Host: www.site.ru
    (где www.site.ru - основное зеркало)

    Для Google:
    Регистрируем все зеркала в сервисе Google Инструмент для веб-мастеров. После этого нужно подтвердить права на управление сайтами.
    Затем переходим по ссылке “Настройки” – “Основной домен” и ставим галочку, что необходимо. Сохраняем. Все готово.

    Робот-зеркальщик работает небыстро, иногда склейка зеркал затягивается на пару месяцев
     
Статус темы:
Закрыта.