Как правильно настроить Robot.txt

Тема в разделе "Вопросы новичков", создана пользователем Dark Angel, 1 апр 2015.

  1. Dark Angel

    Dark Angel gorodbox

    Регистр.:
    5 апр 2006
    Сообщения:
    630
    Симпатии:
    95
    Всем добрый вечер. у меня основной проект gorodbox и проект города Ноябрьска noyabrsk.gorodbox.ru .. мы планируем проект на несколько городов но сейчас конкретно занимаемся ноябрьском. Вопрос такой как правильно подать robot.txt и прописывать ли в роботе зеркала? я в вебмастере держу 2 сайта.. отдельно городбокс и noyabrsk.gorodbox .. по городу продвигаем gorodbox а в интернете noyabrsk.gorodbox
     
  2. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.154
    https://webmaster.yandex.ru/robots.xml проверка составленного
    http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml описание правил

    Нужно закрыть мусор который может выдавать движёк и который не должен индексироваться. Нужно указать основной хост для каждого домена и карту желательно. Для noyabrsk.gorodbox.ru и gorodbox.ru индивидуальные роботсы с разными хостами. Зеркала прописывать не надо, прописываете всё на самих зеркалах, а после подклейки 301 редирект ставите.

    примеры:
    http://www.job.ru/robots.txt
    http://spb.job.ru/robots.txt
     
    Dark Angel и qwertyu12 нравится это.
  3. Dark Angel

    Dark Angel gorodbox

    Регистр.:
    5 апр 2006
    Сообщения:
    630
    Симпатии:
    95
    Извиняюсь за оффтоп. Но Серега Спасибо! Век живи век учись! Рад снова увидеть тебя)
     
  4. MrMayson

    MrMayson Создатель

    Регистр.:
    27 фев 2015
    Сообщения:
    20
    Симпатии:
    1
    Dark Angel нравится это.
  5. slim84

    slim84 Постоялец

    Регистр.:
    28 апр 2008
    Сообщения:
    52
    Симпатии:
    18
    На данный момент у вас получается gorodbox.ru является зеркалом noyabrsk.gorodbox.ru, поэтому логично для главного домена в параметре Host, указать: noyabrsk.gorodbox.ru. Либо редирект, как советовали выше, только 302 (временный), если в дальнейшем планируется другой контент на главном домене.
     
  6. Dark Angel

    Dark Angel gorodbox

    Регистр.:
    5 апр 2006
    Сообщения:
    630
    Симпатии:
    95
    У меня на главном домене gorodbox идет муравленко и Ноябрьск, это разные города просто по Муравленко мало новостей, фирмы идут но не много... вопрос в другом я не знаю как в апач и в нгикс настроить разные робот.тхт для домена и поддомена

    Хотя может и правильно пока не занимаемся закрыть основной домен и город второй чтобы яндекс норм себя вел
     
    Последнее редактирование модератором: 7 май 2015
  7. krymskaya

    krymskaya Создатель

    Регистр.:
    14 апр 2015
    Сообщения:
    18
    Симпатии:
    1
    В .htacсess'e пропишите условие. Вернее не условие, а два правила. Если доменное имя X, то отдать xRobots.txt, если Y, то yRobots.txt
     
    Dark Angel нравится это.
  8. Dark Angel

    Dark Angel gorodbox

    Регистр.:
    5 апр 2006
    Сообщения:
    630
    Симпатии:
    95
    А можна примером? я не силен в программинге
     
  9. skiparis

    skiparis Создатель

    Регистр.:
    15 апр 2015
    Сообщения:
    28
    Симпатии:
    3
    Если я правильно понимаю, что у Вас все лежит на одном FTP, то может как-нибудь так:
    Код:
    RewriteEngine On
    RewriteCond %{HTTP_HOST} ^www.subdomain.example.ru$ [NC]
    RewriteRule ^robots.txt$ http://www.example.ru/x_robots.txt$1 [R=301,L]
    
    RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]
    RewriteRule ^robots.txt$ http://www.example.ru/robots.txt$1 [R=301,L]
     
    Dark Angel нравится это.
  10. anacomp

    anacomp Писатель

    Регистр.:
    10 апр 2015
    Сообщения:
    3
    Симпатии:
    0
    Можно найти сайт с хорошими показателями на таком же движке и скопировать robots.txt заменив хост и карту сайта