Как выкинуть "мусор" из индекса Google?

[k11fang]

При создании сайта немного "ступил" и не запретил индексацию динамических страниц в robots.txt. К тому времени, как до меня дошло, гугл успел проиндексировать 5000+ страниц, из которых 99% - динамический "мусор". Сейчас robots.txt уже поправлен, но из индекса гугля страницы не выкинулись.

Внимание, вопрос: достаточно ли запредить доступ робота к странице для удаления этой страницы из индекса, или все-таки надо править META robots на noindex, nofollow? (для этого придется затратить довольно много времени на переписывания скриптов сайта).

 

[BadMotherFucker]

Смотрите в сторону Канонических URL'ов...

<link rel="canonical" href="" />

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Jeepers Kreepers]

Нужно смотреть в сторону .htaccess. Бот очень часто игнорирует robots.txt. Так что если только сейчас внесены изменения, то уже проиндексированные страницы не вылетят из индекса из-за правки robots.txt.

 

[k11fang]

Смотрите в сторону Канонических URL'ов...

Спасибо, посмотрю. Нужно ли на этих страницах менять еще теги robots или canonical достаточно?

 

[AdeQuAte]

Сайтмап в панель гугла перезалей.

 

[BadMotherFucker]

Спасибо, посмотрю. Нужно ли на этих страницах менять еще теги robots или canonical достаточно?

Если есть возможность сделать все на автомате, то можно поставить noindex, follow. Впрочем как показывает практика достаточно и canonical urls.

 

[Demas]

После запрета в .htacces лишние страницы со временем сами выпадут из индекса после того как бот их не найдет. У меня такое было.