Разрешение только для яндекса в роботсе

Тема в разделе "Русские поисковики", создана пользователем xumukys, 6 авг 2009.

Статус темы:
Закрыта.
  1. xumukys

    xumukys

    Регистр.:
    16 ноя 2008
    Сообщения:
    500
    Симпатии:
    90
    вообще как сделать так, что бы сайт открыть только яндексу?

    Прокатит ли такой роботс.тхт или эе все таки сайт будет запрещен и для яндекса тоже?



    User-agent: Yandex
    Disallow:
    Crawl-delay: 7

    User-agent: *
    Disallow: /

    А то на сетки саттелитов нападают много левых ботов, делая работу сервака нестабильной, спасите!!!
     
  2. Dmytr0

    Dmytr0

    Регистр.:
    11 авг 2008
    Сообщения:
    242
    Симпатии:
    34
    http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml
    Это на будущее, а вообще да, прокатит.
     
    xumukys нравится это.
  3. CableMAN

    CableMAN Создатель

    Регистр.:
    17 авг 2008
    Сообщения:
    15
    Симпатии:
    0
    Забанить гугла и прочих по айпи:)
     
  4. AndyFire

    AndyFire

    Регистр.:
    22 май 2008
    Сообщения:
    243
    Симпатии:
    18
    Ха-ха, а вы точно знаете IP-гугла и всех остальных?
     
  5. sazuke

    sazuke Постоялец

    Регистр.:
    3 фев 2008
    Сообщения:
    54
    Симпатии:
    7
    Ну если роботы не поисковые, то навряд ли Вам это поможет.

    Может быть стоить попробовать посмотреть на все это с другой стороны? Например, увеличить параметр Crawl-delay: 7 ? Хотя я не могу дать гарантии, что этот параметр исполняют все поисковые системы.
     
  6. givvvago

    givvvago Постоялец

    Регистр.:
    4 фев 2009
    Сообщения:
    97
    Симпатии:
    12
    Уж на совсем крайний случай)
    Можно прописать в htaccess вот такие строчки
    Order Deny,Allow
    Deny from all
    Allow from 213.180
    Allow from 87.250
    Allow from 77.88
    Allow from 93.158
    Allow from 95.108
    разрешение на посещение только из подсетей из которых ходит яндекс.
    Ну и надо добавить еще те ип которые вам лично будут надо, по другому лишних роботов отсечь нереально.
     
Статус темы:
Закрыта.