Robots.txt

[Гульсина]

Правильно ли то что установлено в нем?
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
с ipb разобралась, вот с джумлой особо не ковыряла подобные вещи.
И как лучше составить Robots.txt ?

что то тема без префикса не создается :ac:

 

[Maskad]

Вот стандартный. можно sitemap прописать и для Яндекса отдельно host

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /search

 

[Гульсина]

Я оставила как было только добавила
User-agent: Yandex
User-agent: google
Host: сайт

Что посоветуете для sitemap ? просто для ipb у меня плагин от яндекса,он сам генерит ссылки и т.д. а вот что для джумлы есть я не знаю.

 

[mmorok]

Я оставила как было только добавила
User-agent: Yandex
User-agent: google
Host: сайт

Что посоветуете для sitemap ? просто для ipb у меня плагин от яндекса,он сам генерит ссылки и т.д. а вот что для джумлы есть я не знаю.

Xmap и Jcrawler - плагины
SiteMap Generator - внешняя программа

 

[Maskad]

насчет Jcrawler не знаю.
а вот xmap то что надо.
ставь эту версию

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[niza]

Я оставила как было только добавила
User-agent: Yandex
User-agent: google

Это не обязательно добавлять,так как указывают роботов только яндекс и гугл.
Если для всех роботов,то необходимо User-agent: *

А у Вас уже стоит со звездочкой.

 

[Гульсина]

Maskad Спасибо, поставлю.

niza Со звездочкой я удалила же, поставила гугла и яшу.

 

[mmorok]

Maskad Спасибо, поставлю.

niza Со звездочкой я удалила же, поставила гугла и яшу.

Тогда под каждого из ботов нужно повторять список деректив заново. То есть:

Юзерагент Яндекс
Дизаллоу /администратор/
...
...
Дизаллоу /xmlrpc/


Юзерагент Гугл
Дизаллоу /администратор/
...
...
Дизаллоу /xmlrpc/

Я бы оставил со звездочкой.

И еще. Для инетмагазина может быть актульна индексация фотографий товаров. Для похожих целей я себе создаю в корне отдельную папку /photo/ индексацию которой не запрещаю (/images/ у Вас закрыта дерективой в robots.txt)

Резюме: оставьте стандартный, если есть зеркала пропишите хост и смотрите индексированные страницы в консоли вэбмастера. Что не захотите давать в индекс - закрывайте дерективами. У меня, например, так же закрыты /component/, /login/ и /message/.

 

[Гульсина]

Я бы оставил со звездочкой.
И еще. Для инетмагазина может быть актульна индексация фотографий товаров. Для похожих целей я себе создаю в корне отдельную папку /photo/ индексацию которой не запрещаю (/images/ у Вас закрыта дерективой в robots.txt)

Ясно, спасибо)) лучше верну звездочку а я то думала эту звезду нужно заменить на поисковики))))))

По поводу папок очень даже полезно.. теперь буду знать.
Думаю это и для других полезно кто не знает.

 

[wasterel]

У меня в индекс попали страницы [Joomla 1.5]:

/weblinks/
/search.html
/wrapper.html

Думаю их тоже можно включить в список. Установлен компонент sh404SEF.