Закрыть сайт от индексации

Тема в разделе "Вопросы новичков", создана пользователем b10antoxa, 27 апр 2015.

  1. b10antoxa

    b10antoxa Постоялец

    Регистр.:
    6 ноя 2014
    Сообщения:
    106
    Симпатии:
    8
    Добрый день. Пытаюсь закрыть сайт Опенсарт от индексации сделал много
    robots.txt:
    User-agent: *
    Disallow: /
    и раскидал по всем папкам, начиная с корня и заканчиваю подпапками.
    При вводе ключевых слов - яндекс, гугл находят мой сайт без проблем(, и под наименованием выдают тексты, размещенные на сайте.
    Как можно полностью закрыться от индексирования, подскажите пожалуйста.
     
  2. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.155
    User-agent: *
    Disallow: /

    В корне 1 раз разместить и всё. После переиндексации сайта страницы вылетят из индекса. В гугле можно запрос на удаление послать, но в этом случае добавить снова в индекс сможете только через 3 месяца.
     
  3. UJy

    UJy

    Регистр.:
    23 авг 2011
    Сообщения:
    338
    Симпатии:
    121
    Роботс не поможет (он то закрывает страницы, но не до конца - они будут и дальше индексироваться).
    Единственный вменяемый метод - добавить как-можно выше в head метатег <meta name="robots" content="noindex, nofollow">...
     
  4. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.155
    Роботс это аналог что при посещении каждой ссылки бот будет получать 404 ошибку. Для ускорения сюда урлы ещё добавить: https://webmaster.yandex.ru/delurl.xml

    Вообще я сколько при создании сайта кидал в корень, запрет в роботсе - никогда не индексирвался. А если нужна полная надёжность, просто доступ к сайту на пароль закрываю.
     
  5. UJy

    UJy

    Регистр.:
    23 авг 2011
    Сообщения:
    338
    Симпатии:
    121
    1) Так ведь человек не хочет, что б робот видел 404 ошибку. Кстати откуда вообще взята информация о такой аналогии?
    2) Видать вы не так часто работали с robots.txt , что вам не попадалась в выдаче "закрытая в robots от индексации" страница с дескрипшином "A description for this result is not available because of this site's robots.txt". Другими словами - страница проиндексорована, но описание закрыто в robots.txt

    Robots.txt - это скорее рекомендации к действию, а не свод правил, которые робот должен выполнять. А вот если сразу после <head> всунуть <meta name="robots" content="noindex, nofollow"> - это уже для роботов будет правило, которое они обязаны выполнить.
     
  6. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.744
    Симпатии:
    1.155
    Он хочет не от индексирвоания закрыться, а чтобы ПС сниппеты с его текстами в выдаче не выдавало. В этом случае да, можно и как вы предлагаете сделать. Но мне и обычный роботс помогал, со временем в выдаче только урл остаётся.
     
  7. b10antoxa

    b10antoxa Постоялец

    Регистр.:
    6 ноя 2014
    Сообщения:
    106
    Симпатии:
    8
    Дело в том, что сайт еще только в разработке, а уже висит в топе по ключевым словам( со всеми ошибками и проблемами
    Так не только в корне, но и по всем подпапкам лежит, на всякий случай
    Спасибо, сейчас попробую сделать. А результаты когда увижу)? при следующей переиндексации через месяц))?
     
  8. Diopak

    Diopak

    Регистр.:
    23 сен 2012
    Сообщения:
    183
    Симпатии:
    210
    Тогда нужно исправить быстро ошибки (хотя бы до минимально приемлемого варианта) и оставаться в выдаче по запросам )

    Хотя если сайт с ошибками и проблемами в топе по ключевикам, я могу только догадываться что же это за ключевики )))

    А вообще нужно смотреть на посещаемость, если у она низкая, то делайте сайт и не заморачивайтесь, раз уже страницы проиндексированы. Доделать сайт в разы быстрее будет чем ждать пока ПС переиндексирует страницы ;)
     
  9. b10antoxa

    b10antoxa Постоялец

    Регистр.:
    6 ноя 2014
    Сообщения:
    106
    Симпатии:
    8
    понял, наверно так и сделаю, Спасибо всем за помощь.

    А что с ключевиками может быть не так?=)
     
    Последнее редактирование: 27 апр 2015
  10. krymskaya

    krymskaya Создатель

    Регистр.:
    14 апр 2015
    Сообщения:
    18
    Симпатии:
    1
    А если в .htaccess'е прописать правило 410 для всех страниц сайта?