Теперь в Robots.txt можно объединять карты сайтов

Тема в разделе "Зарубежные поисковики", создана пользователем bestrunet, 2 мар 2008.

Статус темы:
Закрыта.
  1. bestrunet

    bestrunet Создатель

    Регистр.:
    16 дек 2007
    Сообщения:
    33
    Симпатии:
    2
    Ведущие западные поисковики объединяются в попытке усовершенствовать протокол Sitemap. Как сообщается в их собственных блогах, Google, Yahoo! и Microsoft будут поддерживать кросс-представление нескольких карт сайтов с помощью файла robots.txt.

    Теперь вебмастера, которые работают сразу с несколькими ресурсами, где у каждого своя карта сайта, могут разместить все sitemaps в одном месте. Раньше поисковые системы требовали, чтобы карта сайта и указанные в ней URLы имели один домен. Согласно сделанному заявлению, вебмастер может указать ссылки на URLы карт сайтов и прописать в robots.txt нужные URLы.

    Например, у сайта MSN.com много поддоменов, таких как health.msn.com, travel.msn.com, moneycentral.msn.com и др. Но хотелось бы разметить все карты сайтов в одном месте, например, sitemaps.msn.com. До этого времени SiteMap-протокол не поддерживал такой сценарий, а каждая карта сайта должна была находиться на описываемом ее домене. Благодаря нынешнему нововведению это сделать можно, для этого в файле robots.txt проставляется ссылка на карту сайта, например, http://moneycentral.msn.com/robots.txt должен включать такую строку:
    Sitemap: http://sitemaps.msn.com/index_moneycentral.msn.com.xml.

    В первую очередь, данное нововведение будет востребовано среди владельцев крупных порталов и сайтов с большим количеством контента.

    Напомним, в апреле прошлого года Google, Yahoo!, MSN объявили о принятии единого стандарта для хранения файла Sitemap XML. Разработанный сервис Auto-Discovery предполагает, что поисковый робот теперь будет сам находить файл Sitemap на сайте. Теперь не нужно его вручную закачивать в каждый поисковик. Для этого вебмастерам рекомендуется добавить в robots.txt строку:
    Sitemap: http://www.example.com/sitemap.xml

    Само решение совместно поддержать SiteMap Protocol было принято в 2006 году. Бесспорно, это значительно упростило вебмастерам задачу экспозиции карт сайтов для удобства индексации их поисковыми системами.
    Взято отсюда: http://www.seonews.ru/news/.search-engine/2865/
     
  2. grey109

    grey109

    Регистр.:
    3 апр 2007
    Сообщения:
    176
    Симпатии:
    19
    Не знаю как другие, а Гугл прекрасно понимает сайтмапы сжатые gzip'ом. У меня сайтмап в обычном виде занимает порядка 12Мб в сжатом - 230Кб.

    ЗЫ: может кому будет полезно - сайтмап генерируется динамически php-скритом, который на выходе сжимает строку с помощью gzencode().
     
  3. fxdir

    fxdir Создатель

    Регистр.:
    17 фев 2008
    Сообщения:
    17
    Симпатии:
    3
    поддерживаю , в разжатом виде может и не проглотнуть
     
  4. hgfkj

    hgfkj Создатель

    Регистр.:
    22 мар 2008
    Сообщения:
    21
    Симпатии:
    4
    Да вроде у меня все поисковики отлично глотают сжатые карты, проблем не было.
     
  5. fuckthesystem

    fuckthesystem Создатель

    Регистр.:
    29 дек 2007
    Сообщения:
    45
    Симпатии:
    6
    как правильно Robots.txt или robots.txt? или не имеет значения?
     
  6. sergmd

    sergmd Постоялец

    Регистр.:
    3 ноя 2007
    Сообщения:
    85
    Симпатии:
    18
    robots.txt правильно и только в корне сайта.
     
Статус темы:
Закрыта.