Как робота тормознуть

Тема в разделе "Вопросы новичков", создана пользователем prodox, 19 май 2009.

Статус темы:
Закрыта.
  1. prodox

    prodox Создатель

    Регистр.:
    15 май 2008
    Сообщения:
    170
    Симпатии:
    2
    Гда то слышал, что в робот.тхт можно дать указание чтоб с задержкой сканировал. сколько то миллисекунд
    Я меня как яша на сервак приходит - сервер тормозит страшно
     
  2. tirrex

    tirrex

    Регистр.:
    9 ноя 2008
    Сообщения:
    213
    Симпатии:
    60
    это директива Crawl-delay, задает минимальное время (в секундах) между окончанием сканирования одной страницы сайта и началом индексации следующей, директиву следует добавлять к группе, начинающейся с записи User-agent, непосредственно после строки Disallow (Allow).

    напрмер так
    User-agent: Yandex
    Disallow: /administrator
    Crawl-delay: 3
     
    prodox нравится это.
  3. anthrax

    anthrax Писатель

    Заблокирован
    Регистр.:
    30 окт 2006
    Сообщения:
    382
    Симпатии:
    198
Статус темы:
Закрыта.