Вопрос по robot.txt

[ws256]

Суть такова, есть сайт, на нем страницы, рубрки, метки. Через робот закрыл от индекса страницы и метки для того чтобы исключить дублирующий контент (гугл не отреагировал, что странно, все остальные нормально, но вотпрос не в этом). Это было давно. Теперь хочу раскрыть для поиска одну метку, пишу в роботе:

Allow: /tag/*метка*/
Disallow: /tag/
Disallow: /page/
Disallow: /author/

Толку нет, времяни прошло больше месяца. Вопрос почему они (например Яндекс) не хотят играть по моим правилам?

 

[m25]

вот Для просмотра ссылки Войди или Зарегистрируйся, вот Для просмотра ссылки Войди или Зарегистрируйся

 

[ws256]

вот Для просмотра ссылки Войди или Зарегистрируйся, вот Для просмотра ссылки Войди или Зарегистрируйся

Я в курсе.
Пример из мануала:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'

Вывод у меня запрещает скачивать все меки, кроме /*метка*/ и не работает

 

[Chvalov]

дайте ответ, такая же проблема!
​

 

[eXploide]

Все о файле robots.txt по-русски Для просмотра ссылки Войди или Зарегистрируйся

 

[reservist]

Проверь файл роботс на валидность в специализированный сервисах. Попробуй /tag/*метка*/ запихнуть в индекс вручную через яндекс-вебмастер

 

[TIIIMOXAN]

Правильно будет вот так:

Allow: /tags/1$
Disallow: /tag/
Disallow: /page/
Disallow: /author/

 

[hoopeer]

Я лично для каждого поисковика прописываю условия: для Яндекса, для Гугла, а потом для всех, в итоге получается три конструкции. Так точно можно избежать игнорирования поисковиком роботса. Но вообще говорят, что роботс - это не рекомендация поисковику, поэтому можно и рекомендовать не индексить, но всё равно будет индексить...

 

[Sunday]

для каждого поисковика прописываю условия: для Яндекса, для Гугла, а потом для всех, в итоге получается три конструкции

Абсолютно ненужная работа, если все эти конструкции одинаковы.
Есть стандартные правила этого файла, которых придерживаются все ПС и не нужно огород городить.

 

[hoopeer]

Sunday, например, директива Host есть только у Яндекса, зачем ею кормить другие поисковики?