Закрыть сайт от индексации...

Тема в разделе "Вопросы новичков", создана пользователем Бобр Добр, 30 авг 2010.

Статус темы:
Закрыта.
  1. Бобр Добр

    Бобр Добр

    Регистр.:
    17 янв 2010
    Сообщения:
    242
    Симпатии:
    37
    Привет всем! Короче такая проблема: есть сайт нужно было закрыть от индексации всеми пс в роботс.тхт положил:
    HTML:
    User-agent: * 
    Disallow: /   
    прошёл ~ 1 месяц но нечё из индекса не выпало как быть не в адном пс не 1 страница не вылетела...
     
  2. umaxse

    umaxse Создатель

    Регистр.:
    6 ноя 2006
    Сообщения:
    32
    Симпатии:
    5
    Тут скорее не по времени надо засекать, а по количеству прошедших апов.
     
  3. zerdek

    zerdek

    Регистр.:
    29 ноя 2007
    Сообщения:
    346
    Симпатии:
    50
    в вебмастере яндекса и гугля можно значительно ускорить этот процесс. у меня за несколько часов убиралось, хотя иногда и за пару дней
     
  4. FlyingKaratist

    FlyingKaratist

    Регистр.:
    20 фев 2010
    Сообщения:
    230
    Симпатии:
    40
    После того как я закрыл некоторые страницы в robots.txt - они повыпадали только через пару месяцев.
    Если срочно нужно, следуй совету zerdek, через вебмастер быстрее должно быть, хотя я не пробовал..
     
  5. zerdek

    zerdek

    Регистр.:
    29 ноя 2007
    Сообщения:
    346
    Симпатии:
    50
    у гугля ДЦ по всему миру и синхронизация между ними идет с задержкой, поэтому для выноса контента - нужно подождать пока ваш запрос обработается и пока пройдет синхронизация по всем ДЦ
     
  6. sens08

    sens08 Постоялец

    Регистр.:
    13 авг 2009
    Сообщения:
    112
    Симпатии:
    22
    По крайней мере, когда к вам на сайт прийдет робот, он уже не будет индексировать новый контент. А это уже хорошо.
     
  7. jabbaxatt

    jabbaxatt Добрый модератор

    Moderator
    Регистр.:
    21 янв 2009
    Сообщения:
    896
    Симпатии:
    422
    На практике не пробовал, но в

    http://sitepumper.ru/

    Есть вкладка "Удалить ссылки". Це не бесплатно, но по мне проще чем руками яндексу указывать страницы для удаления.

    Ну, а я когда-то тоже все закрыл, потом удалил вручную(благо было 30 страниц) через яндекс вебмастер

    http://webmaster.yandex.ru/delurl.xml

    Но потом тоже недели 3 ждал, пока поисковики прочухают и уберут.

    А если инфа успела в веб архив попасть. тоже это смотреть надо.
     
  8. Бобр Добр

    Бобр Добр

    Регистр.:
    17 янв 2010
    Сообщения:
    242
    Симпатии:
    37
    ну там в сумме страниц 2к так что по 1 странице удалять...
    лана буду ждать, просто я дум что если весь сайт закрыт от индекса, то когда придёт робот он увидит что сайт не нужно индексировать и удалит из базы, визиты роботов были, а вот что то с удалением тормоза...
     
  9. ToyotaLC

    ToyotaLC

    Регистр.:
    1 авг 2006
    Сообщения:
    176
    Симпатии:
    87
    Если только через robots сделать, то долго будет выплевывать, особенно google. Желательно воспользоваться сервисами поисковиков по удалению страниц, тогда быстро все пройдет, буквально за 1-2 апа. Вручную конечно морока, поэтому для себя делал скриптик, который все сам делает, правда не помню где он у меня сейчас. У фрилансеров закажи, за 5 баксов сделают без проблем.
     
Статус темы:
Закрыта.