Как составить robots.txt

Тема в разделе "Вопросы новичков", создана пользователем nol, 2 апр 2010.

Статус темы:
Закрыта.
  1. nol

    nol Писатель

    Регистр.:
    22 янв 2010
    Сообщения:
    1
    Симпатии:
    0
    Просмотрел кучу сайтов о написании robots txt но ничего путного не нашел . Вопрос собственно по прочитанному зачем роботам запрещать просмотр директорий , почему нужен запрет файлов к индексации поисковыми роботами.И если можно напишите робот который должен стоять в корне сайта. Спасибо
     
  2. meresyew

    meresyew Постоялец

    Регистр.:
    16 янв 2010
    Сообщения:
    51
    Симпатии:
    20
    Попробуйте посмотреть ниже по ссылке

    http://robotstxt.org.ru/
     
  3. shketus

    shketus Постоялец

    Регистр.:
    2 мар 2010
    Сообщения:
    142
    Симпатии:
    7
    В вебмастере Яши есть раздел помощи по роботсу.
     
  4. ewolwer

    ewolwer

    Регистр.:
    15 окт 2008
    Сообщения:
    240
    Симпатии:
    58
    на примере оврдпресс, закрывать от индексации нужно системные папки которые не желательно что бы попали в индекс, я так думаю подобные папки есть на любом движке, вот хорошее описание составления robots.txt для вордпресса на блоге у димка, описано что прописывать как и зачем :)
    http://blog.dimok.ru/optimizatsiya-robots-txt-dlya-wordpress
     
  5. Benediktoz

    Benediktoz

    Регистр.:
    20 июн 2009
    Сообщения:
    250
    Симпатии:
    35
    Причин может быть много:

    1. вы не хотите чтобы определенный раздел был в выдаче
    2. желание избежать дублирования контента
    3. скрытия информации-мусора (например профилей пользователей)

    по поводу составления роботса подробно написано здесь http://help.yandex.ru/webmaster/?id=996567
     
  6. NNS

    NNS Создатель

    Регистр.:
    25 фев 2009
    Сообщения:
    42
    Симпатии:
    4
  7. Forvator

    Forvator Создатель

    Регистр.:
    30 авг 2010
    Сообщения:
    12
    Симпатии:
    3
    http://veselyha.com/seo-genrobots/
     
  8. Mixxa

    Mixxa Писатель

    Регистр.:
    23 фев 2009
    Сообщения:
    9
    Симпатии:
    0
    По поводу того, какой именно robots.txt нужен - смотря какая у вашего сайта CMS. Добрые люди уже давно позаботились и составили стандартные оптимальные роботсы для каждой CMS - и для вордпресс, и для ДЛЕ, для битрикса, для чего душа пожелает.

    Поэтому, чтобы не ошибиться, заходите в яндекс, набираете в поиске robots txt и название движка - для всех мало мальски распространенных CMS найдете в выдаче проверенные роботсы, просто скопируете себе, и все.
     
  9. the_pimpest

    the_pimpest Создатель

    Регистр.:
    28 июл 2008
    Сообщения:
    43
    Симпатии:
    4
    всё верно отписали выше, но также стоит сказать, что закрытие в robots.txt некоторых разделов не панацея от индексации.
    например гуглу чхать на роботс
     
  10. Drakasmit

    Drakasmit Создатель

    Регистр.:
    19 мар 2008
    Сообщения:
    23
    Симпатии:
    6
    нет, если робост правильно составлен гугл повыкидывает закрытые страницы из индекса или не будет индексить

    псы, по поводу составления роботса все уже давно по 10 раз составленно в гугл вбиваем robots.txt для %cms_name%
    ???
    профит
     
Статус темы:
Закрыта.