Теперь в Robots.txt можно объединять карты сайтов

Статус
В этой теме нельзя размещать новые ответы.

bestrunet

Создатель
Регистрация
16 Дек 2007
Сообщения
33
Реакции
2
Ведущие западные поисковики объединяются в попытке усовершенствовать протокол Sitemap. Как сообщается в их собственных блогах, Google, Yahoo! и Microsoft будут поддерживать кросс-представление нескольких карт сайтов с помощью файла robots.txt.

Теперь вебмастера, которые работают сразу с несколькими ресурсами, где у каждого своя карта сайта, могут разместить все sitemaps в одном месте. Раньше поисковые системы требовали, чтобы карта сайта и указанные в ней URLы имели один домен. Согласно сделанному заявлению, вебмастер может указать ссылки на URLы карт сайтов и прописать в robots.txt нужные URLы.

Например, у сайта MSN.com много поддоменов, таких как health.msn.com, travel.msn.com, moneycentral.msn.com и др. Но хотелось бы разметить все карты сайтов в одном месте, например, sitemaps.msn.com. До этого времени SiteMap-протокол не поддерживал такой сценарий, а каждая карта сайта должна была находиться на описываемом ее домене. Благодаря нынешнему нововведению это сделать можно, для этого в файле robots.txt проставляется ссылка на карту сайта, например, Для просмотра ссылки Войди или Зарегистрируйся должен включать такую строку:
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся.

В первую очередь, данное нововведение будет востребовано среди владельцев крупных порталов и сайтов с большим количеством контента.

Напомним, в апреле прошлого года Google, Yahoo!, MSN объявили о принятии единого стандарта для хранения файла Sitemap XML. Разработанный сервис Auto-Discovery предполагает, что поисковый робот теперь будет сам находить файл Sitemap на сайте. Теперь не нужно его вручную закачивать в каждый поисковик. Для этого вебмастерам рекомендуется добавить в robots.txt строку:
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Само решение совместно поддержать SiteMap Protocol было принято в 2006 году. Бесспорно, это значительно упростило вебмастерам задачу экспозиции карт сайтов для удобства индексации их поисковыми системами.
Взято отсюда: Для просмотра ссылки Войди или Зарегистрируйся
 
Не знаю как другие, а Гугл прекрасно понимает сайтмапы сжатые gzip'ом. У меня сайтмап в обычном виде занимает порядка 12Мб в сжатом - 230Кб.

ЗЫ: может кому будет полезно - сайтмап генерируется динамически php-скритом, который на выходе сжимает строку с помощью gzencode().
 
поддерживаю , в разжатом виде может и не проглотнуть
 
Да вроде у меня все поисковики отлично глотают сжатые карты, проблем не было.
 
как правильно Robots.txt или robots.txt? или не имеет значения?
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху