robots.txt помогите

[ivano1]

Устанавливал компонент JCAWLER для создания карты сайта но ничего не получилось. Скачал xmap. Но от JCAWLER остались записи в robots.txt и в яндекс веб мастер показывает ошибку как раз на эти записи. Что зделать просто удалить эти 2ве нижние стр?
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
# BEGIN JCAWLER-XML-SITEMAP-COMPONENT
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
# END JCAWLER-XML-SITEMAP-COMPONENT

 

[rui]

удалите, но сделайте бэкап роботса. Дальше смотрите по обстоятельствам. В любой момент откатите.

 

[Mr. Brightside]

Если надо подчистить роботс, просто удали 1,3 строки снизу... Вместо 2-й снизу пропиши путь к тому сайтмапу, который используешь. Но лучше разобраться... Jcrawler очень толковый и универсальный инструмент.

Что и как именно у тебя не получилось?

 

[Alex-xv]

По идеи robots разрешать ничего не может, но это только в теории
пропиши директиву host и убери вот это # END JCAWLER-XML-SITEMAP-COMPONENT

 

[3ner]

По идеи robots разрешать ничего не может, но это только в теории
пропиши директиву host и убери вот это # END JCAWLER-XML-SITEMAP-COMPONENT

Бред, смотри правила robots: Disallow - запрещает, Allow - разрешает.
# END JCAWLER-XML-SITEMAP-COMPONENT убирать не обаятельно - просто комментарий.

 

[asp1rin]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

По теме:
пользуйся онлайн сервисами создания роботов и будет тебе Щастье.

 

[ivano1]

*** скрытое содержание ***
По теме:
пользуйся онлайн сервисами создания роботов и будет тебе Щастье.

что в этом плохова. Вопросов много.

 

[3ner]

Для JCAWLER правильнее будет так:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Для xmap:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Alex-xv]

Joomla? Второй вариант на мой взляд лучше, хотя xmap по моему сам запись добовляет в роботс, дай разрешение 777 и он сам все сам зделает.

 

[Gelik]

Удали просто эти строки, они все равно тебе больше никогда не понадобятся и поставь Xmap, компонет отличный + есть куча расширений, например для virtuemart и K2. В роботс.тхт вообще не нужно адрес сайтмапы прописывать, все роботы прекрасно ее с самого сайта берут и все индексируют....