Бот и robots.txt

Тема в разделе "Вопросы новичков", создана пользователем Bicdibus, 14 окт 2010.

Статус темы:
Закрыта.
  1. Bicdibus

    Bicdibus

    Регистр.:
    5 мар 2010
    Сообщения:
    485
    Симпатии:
    7
    поисковый бот каждый раз при посещении сайта обращается к роботс или раз считал и запомнил?
     
  2. 2banok

    2banok Писатель

    Регистр.:
    28 авг 2010
    Сообщения:
    27
    Симпатии:
    2
    Меня тоже этот вопрос интересует. Мой опыт такой:
    Есть сайт, у него адрес такой www. ?????. com, при этом эта же страница дублируется на www. ????. com/home. Я попробовал закрыть доступ к home через роботс.тхт, но смотрю, что все равно попадает в выдаче поисковиков кое-где. При этом процедуру закрытия сделал уже 2 месяца назад, и боты поисковиков меня уже несколько раз посетили...
     
  3. ddiimm

    ddiimm Постоялец

    Регистр.:
    29 дек 2007
    Сообщения:
    80
    Симпатии:
    28
    При любом обращении поискового бота к сайту в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта. Это его прописанно в обязанностях всех поисковых машин.
     
  4. Delk0

    Delk0

    Регистр.:
    26 мар 2010
    Сообщения:
    284
    Симпатии:
    47
    Тут не о чем спорить. Берешь логи и читаешь.
    Как показывает моя практика роботс читается очень редко. Следовательно читается 1 раз, а потом обновляется через определенные промежутки времени.
     
  5. mefisto

    mefisto Оптимист

    Регистр.:
    9 дек 2008
    Сообщения:
    319
    Симпатии:
    195
    Народ, вообщем недавно вышла интересная статья на сеомозе
    http://www.seomoz.org/blog/serious-robotstxt-misuse-high-impact-solutions
    из которой следует, что роботс свои функции плохо выполняет. Читайте, там все хорошо описано
     
  6. 2banok

    2banok Писатель

    Регистр.:
    28 авг 2010
    Сообщения:
    27
    Симпатии:
    2
    Научите брать логи и читать, а?
    Стыдно, конечно, но реально для меня это - темный лес.
     
  7. Haliff3007

    Haliff3007 Читатель

    Заблокирован
    Регистр.:
    17 мар 2007
    Сообщения:
    481
    Симпатии:
    196
    Код:
    http://www.google.ru/search?q=%CB%EE%E3%E8%20apache
    
     
  8. BadMotherFucker

    BadMotherFucker Модератор (Core Team)

    Регистр.:
    13 ноя 2009
    Сообщения:
    786
    Симпатии:
    570
    На самом деле ничего удивительного...
    Записи в robots.txt всего лишь рекомендации, а не четкие указания роботам поисковых систем.
     
Статус темы:
Закрыта.