Как скрыть домен от поисковых систем?

Тема в разделе "Домены", создана пользователем AL_ua, 9 июн 2009.

Статус темы:
Закрыта.
Модераторы: Aste
  1. AL_ua

    AL_ua Создатель

    Регистр.:
    17 апр 2009
    Сообщения:
    13
    Симпатии:
    0
    Почти все стремятся чтобы их сайты были более популярными и регятся на всевозможных поисковиках и каталогах...
    Мне же наоборот нужно чтобы нигде в инете мой сайт не светился..
    К примеру нигде не регистрируясь когда гуглю то находит много сылок на мой сайт..
    Вот собсно вопрос как сделать чтобы поисковики невидели сайт и не индексировали его? и вообще возможно такое?
     
  2. Andy_ham

    Andy_ham Джедай на пенсии

    Регистр.:
    3 сен 2007
    Сообщения:
    450
    Симпатии:
    263
    Тут на мой взгляд смешаны 2 понятия. Найти твой сайт могут ведь и по внешним ссылкам, которые кто-то где-то может оставить, и повлиять на этот процесс практически невозможно.
    А вот запретить индексацию сайта просто. В корень сайта ложится файл robots.txt с записью
    User-agent: *
    Disallow: /проверено, в индекс не идет ничего
     
    mff4 и AL_ua нравится это.
  3. Crucifer

    Crucifer

    Регистр.:
    6 фев 2007
    Сообщения:
    517
    Симпатии:
    249
    Запрет индексации через robots.txt не всегда помогает.
    Ссылки на тебя на сторонних ресурсах останутся если не попросишь убрать.
    Лучше всего сделать редиректами с несуществующими страницами, через htacess пользователя будет перебрасывать на страницу и показывать её а при запросе статуса страницы будет выдаваться ответ 404, в этом случае робот пройдет мимо и не будет её индексировать.

    Добавлено через 4 минуты
    Проверено! В индекс гугла попадают закрытые страницы через роботс, но без тайтлов и снипетта, только с урлами.
     
  4. STsoldier

    STsoldier Постоялец

    Регистр.:
    9 дек 2008
    Сообщения:
    100
    Симпатии:
    10
    Что то я очень сомневаюсь. Примеры есть?
     
  5. vbnm070

    vbnm070

    Регистр.:
    13 май 2008
    Сообщения:
    370
    Симпатии:
    193
    такое случается когда уже проиндексированные страницы закрываешь в роботсе, сначала они весят без тайтла и сниппета, а уже потом пропадают
     
  6. Stick

    Stick Постоялец

    Регистр.:
    11 мар 2008
    Сообщения:
    112
    Симпатии:
    9
    Речь шла не уже проиндексированных страницах, а о попадании сайта в индекс с запретом в роботс.
    Лично у меня ничего не попадало. А если бы попадало, то зачем тогда вобще нужна директива disallow.
     
  7. Emilio13

    Emilio13 Постоялец

    Регистр.:
    16 ноя 2008
    Сообщения:
    119
    Симпатии:
    16
    Простой способ, как уже писалось выше, запретить индексацию через robots.txt.
    Более извращенный способ - сделать клоакинг таким образом, чтобы при заходе поисковых роботов им выдавалась 404 ошибка, а людям же отдовать нормальный сайт. Но это только если вы хотите чтобы ваш сайт никогда не появился в поисковиках..
     
  8. igorka02

    igorka02 Постоялец

    Регистр.:
    2 май 2009
    Сообщения:
    67
    Симпатии:
    12
    Можно ещё заключить все страницы сайта в тег <noindex>
     
  9. artlex

    artlex Создатель

    Регистр.:
    29 май 2009
    Сообщения:
    25
    Симпатии:
    23
    зачем изобритат велосипед с noindex клокингом и остальным если в самом начале дали самый удобный вариант с robots.txt
     
  10. Crucifer

    Crucifer

    Регистр.:
    6 фев 2007
    Сообщения:
    517
    Симпатии:
    249
    Пример есть, кому надо стучимся в аську, покажу.
     
Статус темы:
Закрыта.