Как правильно настроить Robot.txt

Dark Angel

Dark Angel

BinaryWebDev
Регистрация
5 Апр 2006
Сообщения
671
Реакции
113
Всем добрый вечер. у меня основной проект gorodbox и проект города Ноябрьска noyabrsk.gorodbox.ru .. мы планируем проект на несколько городов но сейчас конкретно занимаемся ноябрьском. Вопрос такой как правильно подать robot.txt и прописывать ли в роботе зеркала? я в вебмастере держу 2 сайта.. отдельно городбокс и noyabrsk.gorodbox .. по городу продвигаем gorodbox а в интернете noyabrsk.gorodbox
 
Для просмотра ссылки Войди или Зарегистрируйся проверка составленного
Для просмотра ссылки Войди или Зарегистрируйся описание правил

Нужно закрыть мусор который может выдавать движёк и который не должен индексироваться. Нужно указать основной хост для каждого домена и карту желательно. Для noyabrsk.gorodbox.ru и gorodbox.ru индивидуальные роботсы с разными хостами. Зеркала прописывать не надо, прописываете всё на самих зеркалах, а после подклейки 301 редирект ставите.

примеры:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
 
Извиняюсь за оффтоп. Но Серега Спасибо! Век живи век учись! Рад снова увидеть тебя)
 
На данный момент у вас получается gorodbox.ru является зеркалом noyabrsk.gorodbox.ru, поэтому логично для главного домена в параметре Host, указать: noyabrsk.gorodbox.ru. Либо редирект, как советовали выше, только 302 (временный), если в дальнейшем планируется другой контент на главном домене.
 
У меня на главном домене gorodbox идет муравленко и Ноябрьск, это разные города просто по Муравленко мало новостей, фирмы идут но не много... вопрос в другом я не знаю как в апач и в нгикс настроить разные робот.тхт для домена и поддомена

Хотя может и правильно пока не занимаемся закрыть основной домен и город второй чтобы яндекс норм себя вел
 
Последнее редактирование модератором:
В .htacсess'e пропишите условие. Вернее не условие, а два правила. Если доменное имя X, то отдать xRobots.txt, если Y, то yRobots.txt
 
А можна примером? я не силен в программинге
krymskaya написал(а):
В .htacсess'e пропишите условие. Вернее не условие, а два правила. Если доменное имя X, то отдать xRobots.txt, если Y, то yRobots.txt
Нажмите для раскрытия...
 
Если я правильно понимаю, что у Вас все лежит на одном FTP, то может как-нибудь так:
Код: 
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.subdomain.example.ru$ [NC]
RewriteRule ^robots.txt$ http://www.example.ru/x_robots.txt$1 [R=301,L]

RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]
RewriteRule ^robots.txt$ http://www.example.ru/robots.txt$1 [R=301,L]
 
Можно найти сайт с хорошими показателями на таком же движке и скопировать robots.txt заменив хост и карту сайта
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху