XML Sitemap и Поисковики - вопрос.

Тема в разделе "Вопросы новичков", создана пользователем artlayers, 20 фев 2009.

Статус темы:
Закрыта.
  1. artlayers

    artlayers Создатель

    Регистр.:
    6 фев 2009
    Сообщения:
    15
    Симпатии:
    2
    Доброе время суток!
    Подскаждите мне: делаю карту сайта, информирую о ней с роботс.тхт информирую о ней поисковики лично загружая карту сайта, потом содержание со временем меняется, появляются новые страницы - я карту не перестраиваю. ПС-боты приходя на сайт и видя карту сайта будут ходить только по тем страницам что там описаны или будут без проблем находить новые?
     
  2. bik20007

    bik20007 Читатель

    Заблокирован
    Регистр.:
    11 апр 2008
    Сообщения:
    455
    Симпатии:
    46
    Если в robot не запрещены поиск других страниц для поисковиков, то все остальные проиндексируются. Просто с помощью карты быстре индексируется сайт
     
  3. Anatoliy_B

    Anatoliy_B Постоялец

    Регистр.:
    17 июн 2008
    Сообщения:
    87
    Симпатии:
    0
    Будут ходить по всем не запрещенным страницам
     
  4. mehoney

    mehoney Создатель

    Регистр.:
    5 дек 2008
    Сообщения:
    20
    Симпатии:
    6
    У меня в sitemap.xml не указано специально 3 страницы, которые не хочу чтобы их индексировали поисковики. Я думал этого достаточно.

    Т.е. стоит их лучше в robots.txt запретить от индексации, чем просто не указывать в sitemap?
     
  5. BFox

    BFox

    Регистр.:
    11 янв 2008
    Сообщения:
    368
    Симпатии:
    65
    Да естественно укажите чтобы их не индексировали поисковики
    Код:
    User-agent: *
    Disallow: /text.html
     
  6. artlayers

    artlayers Создатель

    Регистр.:
    6 фев 2009
    Сообщения:
    15
    Симпатии:
    2
    не указывая в сайтмэп страницу - просто не говоришь поисковику что у тебя она есть, но рано или поздно он её сам найдёт, то есть ты просто не рекомендуешь поисковику индексировать страницу. А если запрещаешь в robots.txt её - то ты говоришь ему что точно не надо её вносить в индекс, так что пиши в роботос.тхт
     
  7. ValetRammstein

    ValetRammstein Постоялец

    Регистр.:
    3 июл 2007
    Сообщения:
    82
    Симпатии:
    1
    artlayers, сайтмэп делается для ускорения индексации, но даже при его отсутствии страницы должны попадать в индекс, для закрытия от индексации юзай robots.txt/

    Кстати, а что ты сайтмап вручную создаешь?
     
  8. artlayers

    artlayers Создатель

    Регистр.:
    6 фев 2009
    Сообщения:
    15
    Симпатии:
    2
    :) у меня сайты по 50К страниц основных достигают, конечно не вручную - программ много достаточно как платных, так и бесплатных или скрипты.
     
  9. master6681

    master6681

    Регистр.:
    17 дек 2006
    Сообщения:
    577
    Симпатии:
    124
    Сайтмап только для ускорения индексации больших сайтов. Причем заметил, что если сайт до 2к страниц, то пофиг на сайтмап. Яша с гуглом его и так нормально проиндексируют. В роботс закрываете те разделы (или страницы) которые не хотите, чтобы попали в индекс. Причем некоторые зарубежные поисковики игнорируют директиву роботс, поэтому их лучше вообще по ай пи заблочить.
     
  10. artlayers

    artlayers Создатель

    Регистр.:
    6 фев 2009
    Сообщения:
    15
    Симпатии:
    2
    ага, заблочишь их по ип :) они же все распределённые. Кстати, где-то наталкивался на БД ip поисковиков. Да и вообще, предлагаете полностью заблокировать поисковикам доступ к сайту, которые не смотрят на роботс?
     
Статус темы:
Закрыта.