[.htaccess] Запрет по User Agent

Тема в разделе "Mod Rewrite / htaccess / ЧПУ", создана пользователем Смоленский, 4 ноя 2008.

Статус темы:
Закрыта.
  1. Смоленский

    Смоленский

    Регистр.:
    2 июл 2008
    Сообщения:
    248
    Симпатии:
    87
    Господа поделитесь готовым и проверенным решением. Необходимо в директории сделать запрет допуска через .htaccess по User Agent для поисковых ботов: яндекса, гугла, яху и мсн. Примеры которые я находил на других форумах и ресурсах у меня не работают. Необходимо правило которое следует добавить в .htaccess
     
  2. dotsenko

    dotsenko

    Регистр.:
    27 дек 2006
    Сообщения:
    233
    Симпатии:
    106
    что то вроде этого

    Добавлено через 2 минуты
    и вот еще вариант для поисковиков
     
    Смоленский нравится это.
  3. zerdek

    zerdek

    Регистр.:
    29 ноя 2007
    Сообщения:
    346
    Симпатии:
    50
    ну роботс прописываешь, как надо... ну уже неудобно жевать еще раз

    резать по юзер агент ботам, что-то типа этого (надо поправить, это мой маленький кусок по юзерским спайдрам и даунлоадерам)

    RewriteCond %{HTTP_USER_AGENT} ^.*Crawler.*$ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Snagger.*$ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Teleport.*$
    RewriteRule .*$ - [F]
     
  4. nubic

    nubic

    Регистр.:
    29 май 2008
    Сообщения:
    382
    Симпатии:
    151
    я делал защиту от роботов через юзер агент в пхп и заодно в хтаксесс но проблема в том что у пс есть еще и проверяющие боты которые ходят под видом пользователей вобщем через неделю меня забанили во всех поисковых системах в рамблер так вернутся потом и не удалось, вобщем получается это то что называется клоаккинг так что если хочешь что то закрыть от индексации сделай это через роботс.тхт оно думаю безопаснее будет
     
  5. Смоленский

    Смоленский

    Регистр.:
    2 июл 2008
    Сообщения:
    248
    Симпатии:
    87
    nubic скорее всего ты делал чтобы боты не могли заходить в определённый каталог а по сайту могли спокойно шерстить ,] за это и наказали.

    По теме, htaccess который у меня работает и справляется с поставленной задачей отправляет необходимых ботов индексировать страницу ошибки 403:

     
    Pup_vseya нравится это.
Статус темы:
Закрыта.