Закрытие сайта от индексации

Тема в разделе "Тех. вопросы", создана пользователем Izrael, 22 янв 2014.

  1. Izrael

    Izrael

    Регистр.:
    12 фев 2008
    Сообщения:
    448
    Симпатии:
    56
    Что бы сайт полностью закрыть от индексации поисковыми системами, достаточно этого в роботсе или нет ?
     
    Последнее редактирование: 22 янв 2014
  2. Stas-P

    Stas-P

    Регистр.:
    7 сен 2013
    Сообщения:
    165
    Симпатии:
    125
    Достаточно.
    К примеру я делал сайт клиенту, выкладку тестового сайта делал на своём домене.
    Прописал в robots.txt запрет индексации и все, после этого в статистике Яндекс.Вебмастер меня периодически предупреждали, что сайт закрыт к индексированию и проиндексировано 0 страниц.

    Так что если надо прикрывать, смело прикрывай =)
     
  3. papacarlo

    papacarlo Постоялец

    Регистр.:
    31 июл 2007
    Сообщения:
    100
    Симпатии:
    10
    Если вы хотите закрыть сайт от ПС-лидеров типа яндекса и гугла, то такого роботса будет достаточно, они всегда обращаются к нему и учитывают его. Но есть много других ПС, которые не обращают на него вниманию и по полной индексят сайт (можете глянуть логи сервера). Поэтому если нужно закрыть важную инфу, то тогда нужно применять другие методы защиты.
     
  4. BACZ

    BACZ

    Регистр.:
    18 июн 2008
    Сообщения:
    608
    Симпатии:
    381
    Для Google, Yandex и Bing этого достаточно, они в выдаче будут давать какую нибудь страницу сайта с соответствующим сниппетом
    Google:
    "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее"
    Bing
    "Мы хотели бы показать здесь описание, но сайт, который вы просматриваете, этого не позволяет."
    Яндекс
    просто один ответ без сниппета.

    Страница кстати, может быть самая неожиданная, например bing может предложить что-нибудь типа
    www.сайт.ру/wp-admin
    даже если на сайте такого нет и движок не Wordpress (а просто 404 страница выглядит как обычная страница сайта с сообщением об отсутствующей странице)
    например под сочетание .htaccess с .htpasswd
     
  5. KnockDOWN

    KnockDOWN Создатель

    Регистр.:
    5 авг 2011
    Сообщения:
    16
    Симпатии:
    0
    Сайт не появляется в индексе Яндекса уже больше 2 месяцев. В вебмастере пишет "Сайт начал индексироваться". В чем может быть проблема?
     
  6. Chandler007

    Chandler007 Писатель

    Регистр.:
    5 май 2015
    Сообщения:
    4
    Симпатии:
    1
    Есть два способа , чтобы остановить веб- страницу индексации поисковыми системами . Одним из них является robot.txt , в котором вы можете блокировать один веб-страницу, весь каталог или даже одного изображения . Во-вторых, использование " NOINDEX " мета-тег в файле , которые не позволяют определенной веб-страницы , чтобы быть индекс . Написать код ниже , чтобы " NoIndex " страницу
    < META NAME = " роботы " Content = " NOINDEX " >
     
  7. Sunday

    Sunday

    Регистр.:
    13 дек 2009
    Сообщения:
    724
    Симпатии:
    314
    Мало того, что новый сайт, так еще и обновление поисковой базы у яндекса последнее время раз в сто лет происходит. Он меня и самого этим бесит.
     
  8. bboyspek

    bboyspek Создатель

    Регистр.:
    8 май 2015
    Сообщения:
    31
    Симпатии:
    1
    Сайт может не индексироваться по следующим причинам:
    Сайт закрыт от индексации в robots.txt (данную проблему обнаружить очень легко) и следующая распространенная проблема это тег
    <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">. Данный тег закрывает страницу от индексации, смотрите html-код. (бывает что некоторые CMS по умолчанию ставят этот тег) Если помог, ставим плюсик. Если нет- кидайте сайт сюда или в личку помогу разобраться.