Директива Host.
Если ваш сайт имеет зеркала, специальный робот зеркальщик определит их и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его у всех зеркал при помощи robots.txt, используя директиву 'Host', определив в качестве ее параметра имя главного зеркала. Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом. Пример:
#Если
Для просмотра ссылки Войди или Зарегистрируйся главное зеркало сайта, то
#robots.txt для всех сайтов из группы зеркал выглядит так
User-Agent: *
Disallow: /forum
Disallow: /cgi-bin
Host:
Для просмотра ссылки Войди или Зарегистрируйся в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.
Пример корректно составленного robots.txt, при обработке которого директива Host учитывается
User-Agent: *
Disallow:
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Примеры некорректно составленных robots.txt, при обработке которых директива Host может не учитываться
#1.
User-Agent: *
Host:
Для просмотра ссылки Войди или Зарегистрируйся
#2.
Host:
Для просмотра ссылки Войди или Зарегистрируйся
#3.
User-Agent: *
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Disallow:
#4.
Host:
Для просмотра ссылки Войди или Зарегистрируйся
User-Agent: *
Disallow:
Важно: параметр директивы Host обязан состоять из одного корректного имени хоста (т.е. соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки 'Host:' игнорируются.
# Примеры игнорируемых директив Host
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host: .my-host.ru:8000
Host: my-host.ru.
Host: my..host.ru
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host: 213.180.194.129
Host:
Для просмотра ссылки Войди или Зарегистрируйся
Host: www.firsthost.ru[/url] www.secondhost.ru
Примеры исполь...главным зеркалом
# [url]www.domen.myhost.ru, тогда корректное использование
# директивы Host такое:
User-Agent: *
Disallow:
Host: domen.myhost.ru
# domen.myhost.ru является главным зеркалом
#
Для просмотра ссылки Войди или Зарегистрируйся, тогда некорректное использование
# директивы Host такое:
User-Agent: *
Disallow:
Host: myhost.ru
