Помогите с robots.txt

Статус
В этой теме нельзя размещать новые ответы.

WerewolfGSM

Старатель
Регистрация
4 Дек 2006
Сообщения
258
Реакции
11
Добрый день.
Помогите пожалуйста с файлом роботс.тхт.
Движок: wordpress

Вопрос 1.
Мне надо заблокировать некоторые страницы сайта. Например, у меня есть сайт
в ней есть директория
в этой директории есть поддиректории (которые создают список постов с такими:(


Мне надо закрыть все директории tag/tag-1/ и далее (можно и саму главную директорию tag закрыть)
Добавил в роботс.тхт команду
User-agent: *
Disallow: /tag/

Но почему то в индексе есть страницы типа и т.д.

Команда была добавлена около 2х месяцев назад (практически с начала существования сайта).

Вопрос 2.
На том же сайте. Есть категории, которые выводят список постов входящих в категорию, ссылки вида:

смысл тот же что и с тегами, что бы избежать дублирования контента, надо удалить из индекса все что имеет вид /years/№года
наличие сточки
Disallow: /movies/years/ ничего не дало. Страницы добавились в индекс.


Вопрос 3. Более сложный
На том же сайте. Есть категории, ссылки вида:

Надо заблокировать категории, но страницы с товарами оставить в индексе.

Надеюсь на понимание, если вопрос нубский. Но действительно страницы находятся в индексе, хотя были заблокированы.
Спасибо.
 
1) линк в студию
2) зайди в панель вебмастера яндекса webmaster.yandex.ru ( ну и добавь свой сайт есно )

там в частности есть Проверка корректности файла robots.txt и Пункты про индекс

PS вроде из того что ты написал все правильно, так что см пункт 1
 
если твои страници в индексе уже, а ты поправил (запретил) инлексацию этих страниц, то к сожУлению,эти страници так и останутся в индексе. до к4акого временине знаю, но у самого такая же ситуация, вот уже третий месяц жду, смотрю...

третий вопрос имхо нереально синтаксически поправить. через роботс конечно же. используй <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
 
Анализатор robots от яндекса

у гугля такой же есть в вебмастере
 
Сайт продвигается под гугль. В файле роботс.тхт никаких ошибок панель гугля не нашла. Все сделано можно сказать по их учебнику. А результат - страницы всеравно в индексе. Ну чтож, будем ждать, может сами выпадут.
А для гугля есть аналог delurl.xml?
 
Сайт продвигается под гугль. В файле роботс.тхт никаких ошибок панель гугля не нашла. Все сделано можно сказать по их учебнику. А результат - страницы всеравно в индексе. Ну чтож, будем ждать, может сами выпадут.
А для гугля есть аналог delurl.xml?
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху