нужно сделать запрет индекирования поисковиками

Тема в разделе "Вопросы новичков", создана пользователем uadesign, 5 апр 2008.

Статус темы:
Закрыта.
  1. uadesign

    uadesign

    Регистр.:
    20 апр 2006
    Сообщения:
    357
    Симпатии:
    134
    как сделать запрет индекирования поисковиками

    чтобы поисковики и не заходили на мой сайт!!!
     
  2. dos03

    dos03 -----

    Регистр.:
    9 мар 2007
    Сообщения:
    871
    Симпатии:
    428
    Интересный вопрос :D:D:D
    Используй robots.txt
    например закрыть msn:

    User-agent: msnbot
    Disallow: /

    маилру
    User-agent: Mail.Ru
    Disallow: /
     
  3. uadesign

    uadesign

    Регистр.:
    20 апр 2006
    Сообщения:
    357
    Симпатии:
    134
    больше интересует гугла и яндекс
     
  4. flixin

    flixin

    Регистр.:
    15 авг 2007
    Сообщения:
    226
    Симпатии:
    112
    Можно через роботс
    Код:
    # robots.txt for http://domen.com
    
    User-agent: *
    Disallow: /
    Правда этого мало, гугл все равно лазит.
    Самый надёжный способ сделать файл .htaccess в корне сайта и туда прописать:
    Код:
    RewriteEngine on 
    RewriteBase / 
    RewriteCond %{HTTP_USER_AGENT} ^Yandex [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} ^googlebot [NC,OR] 
    RewriteCond %{HTTP_USER_AGENT} ^stackrambler [NC] 
    RewriteRule .* - [F] 
    можно добавить ещё юзер-агентов поисковиков, просто добавлять после
    Код:
    RewriteCond %{HTTP_USER_AGENT} ^googlebot [NC,OR]
    строчку вида
    Код:
    RewriteCond %{HTTP_USER_AGENT} ^юзер-агент-поисковика [NC,OR]
    и тогда всем перечисленным поисковикам будет выдаваться 403 ошибка (доступ запрещён)
     
  5. sw04

    sw04 seoplayer

    Регистр.:
    1 дек 2007
    Сообщения:
    601
    Симпатии:
    193

    User-agent: * # applies to all robots
    Disallow: / # disallow indexing of all pages


    User-agent гугла - googlebot
    User-agent яндекса - Yandex
     
  6. uadesign

    uadesign

    Регистр.:
    20 апр 2006
    Сообщения:
    357
    Симпатии:
    134
    вообщем поможет?


    создам 2 файла:


    роботс

    # robots.txt for http://domen.com

    User-agent: *
    Disallow: /

    User-agent: msnbot
    Disallow: /

    User-agent: Mail.Ru
    Disallow: /

    User-agent: googlebot
    Disallow: /

    User-agent: Yandex
    Disallow: /



    и .htaccess

    RewriteEngine on
    RewriteBase /
    RewriteCond %{HTTP_USER_AGENT} ^Yandex [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^googlebot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^stackrambler [NC]
    RewriteRule .* - [F]




    чтото еще мож засунуть, чтобы уж наверника ботов небыло
     
  7. sw04

    sw04 seoplayer

    Регистр.:
    1 дек 2007
    Сообщения:
    601
    Симпатии:
    193
    в мета тэги
    PHP:
    <meta name="robots" content="noindex,nofollow" />
     
  8. flixin

    flixin

    Регистр.:
    15 авг 2007
    Сообщения:
    226
    Симпатии:
    112
    Мета-тег robots, имхо, очень слабо влияет на поведение поискового робота.

    2dos03, если ты не заметил, то я ответил на вопрос топикстартера, а вот ты ничего дельного не добавил. Полегче с выражениями.
     
  9. dos03

    dos03 -----

    Регистр.:
    9 мар 2007
    Сообщения:
    871
    Симпатии:
    428
    Лучше отвечай на конкретные вопросы, а не переводи тему в дискуссионную плоскость:-]

    uadesign, поможет - прописывай, все что посоветовали. других способов практически нет (только роботс и хтаксесс). Если конечно не организовать себе бан в поисковиках :D
     
  10. egorix

    egorix Создатель

    Регистр.:
    6 сен 2007
    Сообщения:
    21
    Симпатии:
    0
    Поставте пароль или капчу и тогда никакой поисковик не пролезет :)

    И вопрос к остальным почему не хватит robots.txt? зачем надо ещё htaccess? гугл-то лазит в поисках ссылок, чтобы перейти по ним, но вес не будет учитывать всё-равно... и индексировать страницу не будет точно.
     
Статус темы:
Закрыта.