Как выкинуть "мусор" из индекса Google?

Тема в разделе "Зарубежные поисковики", создана пользователем k11fang, 30 авг 2010.

Статус темы:
Закрыта.
  1. k11fang

    k11fang Создатель

    Регистр.:
    16 фев 2010
    Сообщения:
    16
    Симпатии:
    1
    При создании сайта немного "ступил" и не запретил индексацию динамических страниц в robots.txt. К тому времени, как до меня дошло, гугл успел проиндексировать 5000+ страниц, из которых 99% - динамический "мусор". Сейчас robots.txt уже поправлен, но из индекса гугля страницы не выкинулись.

    Внимание, вопрос: достаточно ли запредить доступ робота к странице для удаления этой страницы из индекса, или все-таки надо править META robots на noindex, nofollow? (для этого придется затратить довольно много времени на переписывания скриптов сайта).
     
  2. BadMotherFucker

    BadMotherFucker Модератор (Core Team)

    Регистр.:
    13 ноя 2009
    Сообщения:
    786
    Симпатии:
    570
    Смотрите в сторону Канонических URL'ов...
    http://proseo.su/news/canonical-novyj-meta-teg-google-live-yahoo/
     
    k11fang нравится это.
  3. Jeepers Kreepers

    Jeepers Kreepers

    Регистр.:
    31 янв 2008
    Сообщения:
    217
    Симпатии:
    6
    Нужно смотреть в сторону .htaccess. Бот очень часто игнорирует robots.txt. Так что если только сейчас внесены изменения, то уже проиндексированные страницы не вылетят из индекса из-за правки robots.txt.
     
    k11fang нравится это.
  4. k11fang

    k11fang Создатель

    Регистр.:
    16 фев 2010
    Сообщения:
    16
    Симпатии:
    1
    Спасибо, посмотрю. Нужно ли на этих страницах менять еще теги robots или canonical достаточно?
     
  5. AdeQuAte

    AdeQuAte

    Регистр.:
    23 мар 2007
    Сообщения:
    353
    Симпатии:
    45
    Сайтмап в панель гугла перезалей.
     
  6. BadMotherFucker

    BadMotherFucker Модератор (Core Team)

    Регистр.:
    13 ноя 2009
    Сообщения:
    786
    Симпатии:
    570
    Если есть возможность сделать все на автомате, то можно поставить noindex, follow. Впрочем как показывает практика достаточно и canonical urls.
     
    k11fang нравится это.
  7. Demas

    Demas Постоялец

    Регистр.:
    13 апр 2007
    Сообщения:
    82
    Симпатии:
    41
    После запрета в .htacces лишние страницы со временем сами выпадут из индекса после того как бот их не найдет. У меня такое было.
     
Статус темы:
Закрыта.