Вопрос по robots.txt

[spliter]

Стала передомной задача, закрыть на сайте все линки вот такого типа:

/product_product-name.html

Закрыл я их в robots.txt вот так:

Diasallow: /product_*.html

Далее, мне нужно постепенно открывать их для ботов...

Что-то после прочтения факов по robots.txt я так и не понял как их открывть. Подскажите плиз как поступить, и разъясните мне можно ли использовать команду Allow?

 

[dig555]

Не знаю, какие именно ты маны смотрел, но очень рекомендую посмотреть на это:

 

[spliter]

Не знаю, какие именно ты маны смотрел, но очень рекомендую посмотреть на это: *** скрытое содержание ***

Вот я создал такие правила:

User-Agent: *
Disallow: /product_*
Allow: /product_product-name.html

проверяю анализатором яндекса, он пишет запрещено

Для просмотра ссылки Войди или Зарегистрируйся запрещен правилом /product_

 

[zzallexx]

Попробуй пересьавить местами. Помоему вот так должно работать

User-Agent: *
Allow: /product_product-name.html
Disallow: /product_*

 

[vbnm070]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Совместное использование директив.

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке. Примеры, если:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin'

User-agent: Yandex
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт

Allow должен быть перед Disallow

 

[spliter]

Спасибо за помощь, все заработало

Еще один вопросик, если в robots.txt будет прописано линков 200 - это не повлияет на ботов?

 

[zzallexx]

Еще один вопросик, если в robots.txt будет прописано линков 200 - это не повлияет на ботов?

Вообще-то не должно вроде там никакого ограничения нет на количество.

 

[dig555]

Вообще-то не должно вроде там никакого ограничения нет на количество.

Врёшь

При написании robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Слишком большие robots.txt (более 256 Кб) считаются полностью разрешающими...

Но 200 строк это гораздо меньше 256 Кб

 

[niza]

Есть домен.Решил снова хостить сайт. До этого я хостил сайт--потом хостинг не оплачивал(только продлевал домен). Спустя два года снова решил заняться хостингом. Загрузил другую CMS.
Яндекс выдал мне что у меня не основной сайт --а зеркало(где сайт хостится) . Что надо изменить в robots.txt чтобы яндекс признал что мой сайт основной, а не зеркало?

 

[rsrd]

Есть домен.Решил снова хостить сайт. До этого я хостил сайт--потом хостинг не оплачивал(только продлевал домен). Спустя два года снова решил заняться хостингом. Загрузил другую CMS.
Яндекс выдал мне что у меня не основной сайт --а зеркало(где сайт хостится) . Что надо изменить в robots.txt чтобы яндекс признал что мой сайт основной, а не зеркало?

Прописать host - подробно все описано в хелпе Яндекса.