Нужно чтобы роботы редко ходили на мой сайт

Тема в разделе "Вопросы новичков", создана пользователем Crees, 6 сен 2009.

Статус темы:
Закрыта.
  1. Crees

    Crees Постоялец

    Регистр.:
    4 май 2008
    Сообщения:
    143
    Симпатии:
    13
    Сабж, тему с
    PHP:
    User-agent: *
    Disallow: /
    не предлогать. Просто нужно чтбы роботы заходили на сайт раз в неделю, а то и реже.
     
  2. Bereza

    Bereza

    Регистр.:
    9 май 2007
    Сообщения:
    222
    Симпатии:
    69
    На страницы добавь метатеги

    <meta name="robots" content="all" />
    <meta name="revisit-after" content="1 days" />

    где 1 количество дней через сколько будет робот приходить
     
  3. Crees

    Crees Постоялец

    Регистр.:
    4 май 2008
    Сообщения:
    143
    Симпатии:
    13
    Если страниц много? У меня joomla стоит (это к сведению) можно как то глобально решить? В index.php шаблона жумлы это будет ток на главную работать?
     
  4. Bereza

    Bereza

    Регистр.:
    9 май 2007
    Сообщения:
    222
    Симпатии:
    69
    Я к сожалению не помню где именно в жумле метатеги вписаны... возможно в шаблоне...
     
  5. Crees

    Crees Постоялец

    Регистр.:
    4 май 2008
    Сообщения:
    143
    Симпатии:
    13
    Метатеги вписаны в корневом файле шаблона - index.php. Вопрос только в том будет ли это глобально работать или только на главную страницу сайта?
     
  6. Bereza

    Bereza

    Регистр.:
    9 май 2007
    Сообщения:
    222
    Симпатии:
    69
    Ппц... щас в хелпе яндекса посмотрел...
    Походу тока для гугли работает...
    На счет глобальности не в курсе но у меня на каждой странице в коде этот метатег присутствует!
     
  7. tvsm22

    tvsm22

    Регистр.:
    20 мар 2008
    Сообщения:
    321
    Симпатии:
    54
    в гугле нужно добавить сайт в панель вебмастера и выставить частоту, с которой робот приходит в админке

    в яндексе такой темы вроде нет
     
  8. Crees

    Crees Постоялец

    Регистр.:
    4 май 2008
    Сообщения:
    143
    Симпатии:
    13
    Хорошо, с гуглом понял, а в яндексе работает один далекознакомый человечек, думаю с вопросом функционала яндекса и как сказать конкретно яндексу - заходи ко мне реже, попробую напрямую у него спросить, надеюсь он ответит.
     
  9. tlittle

    tlittle Постоялец

    Регистр.:
    26 мар 2009
    Сообщения:
    74
    Симпатии:
    13
    Полагаю, что снизить частоту хождения Яндексом с помщью ревизита вполне возможно. Вот увеличить вряд ли, Яшку просто проигнорит переменную. А что мешает поставить нужную частоту и проверить через неделю?
     
  10. Gn00s

    Gn00s Постоялец

    Регистр.:
    29 апр 2009
    Сообщения:
    108
    Симпатии:
    23
    Директива Crawl-delay.

    Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

    Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

    Примеры:

    User-agent: Yandex
    Crawl-delay: 2 # задает таймаут в 2 секунды

    User-agent: *
    Disallow: /search
    Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

    Кто мешает поставить большие значения? например 86400? Тогда яша будет скачивать 1 страницу в сутки для индекса. Обход сайта в 30 страниц, займет месяц.
     
    Crees нравится это.
Статус темы:
Закрыта.