Проблема с htaccess

Тема в разделе "Mod Rewrite / htaccess / ЧПУ", создана пользователем igramnet, 24 авг 2007.

Статус темы:
Закрыта.
  1. igramnet

    igramnet

    Регистр.:
    7 авг 2007
    Сообщения:
    281
    Симпатии:
    35
    Нажно сделать так, чтобы боты google, yandex, rambler и yahoo не индексировали форум по адресу mysite.net. Но непросто написать что-то вроде


    Код:
    RewriteCond %{HTTP_USER_AGENT} ^.*Slurp.* [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*msnbot.* [NC]
    RewriteRule ^(.*)$ - [F]
    а написать так, чтобы именно по адресу mysite.net, а по адресу mysite2.net и боты и я спокойно ползали бы.


    PS пробовал так, не вышло.
    Код:
    RewriteCond %{HTTP_USER_AGENT} !^yandex.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^googlebot.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^.*gaisbot.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^rambler.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^aport.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^metacrawler.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^msnbot.* [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} !^.*crawler.* [NC]
    RewriteCond %{HTTP_REFERER} ^.www.mysite.net$ [OR]
    RewriteCond %{HTTP_REFERER} ^.mysite.net$ 
    
    RewriteRule ^(.*)$ http://mysite.net/forum.html [R=301,L]
    
    Спасибо.
     
  2. dragonbridge

    dragonbridge Прохожие

    Поищи в Яндексе информацию по файлу robots.txt который должен лежать в корне сайта. С помощью его и можно управлять индексацией.
     
  3. Ivan Zhukov

    Ivan Zhukov Создатель

    Регистр.:
    29 июн 2007
    Сообщения:
    18
    Симпатии:
    3
    dragonbridge прав. Это нужно делать только с помощью robots.txt иначе могут обвинить в подмене инфы и заблокировать тебя
     
  4. basse

    basse Прохожие

    Вот это должно помочь(robots.txt)
    User-agent: Yandex, rambler, googlebot
    Disallow: /
    Только положи это в корень mysite.net

    Можно ещё почитать про мета-тег robots
     
Статус темы:
Закрыта.