Robots.txt

Статус
В этой теме нельзя размещать новые ответы.
Если разрешить индексировать папку картинок для товаров то они, по идее, будут проиндексированы в натуральную величину а не так как на сайте и не будет прямой ссылки на страничку товаров?
 
Если разрешить индексировать папку картинок для товаров то они, по идее, будут проиндексированы в натуральную величину а не так как на сайте и не будет прямой ссылки на страничку товаров?
Боты не индексируют саму папку. Боты индексируют картинки в тексте, и ссылки ставятся на страницу, где эти картинки присутствуют
 
Вот еще нашел ненужные ссылки для индксации:

/feed/atom.html
/feed/rss.html

Давайте составим точный Robots.txt
 
Еще дописать в конце
Allow: /
Sitemap: [ваш путь к XML Sitemap]
 
User-Agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-Agent: Googlebot-Mobile
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-agent: MSNBot
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?pop=0
Allow: /plugins/system/vmrss/


User-agent: ia_archiver
Disallow: /

Allow: /
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

Sitemap: Для просмотра ссылки Войди или Зарегистрируйся


:smmne:
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху