1. Уважаемые пользователи, прежде чем ответить в теме или создать новую,
    внимательно ознакомьтесь с правилами раздела

    Кому лень работать или руки не оттуда - пользуйтесь услугами специалистов
  2. Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.."

    Есть JED!!! Ищите там!!!

Robots.txt

Тема в разделе "Joomla", создана пользователем Гульсина, 11 авг 2009.

Информация :
  • Уважаемые пользователи, прежде чем ответить в теме или создать новую, внимательно ознакомьтесь с правилами раздела
  • Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.." Есть JED!!! Ищите там!!!
  • Аналоги ищите там же - на JED!!!
  • Новая версия? - У кого будет - тот выложит!
Статус темы:
Закрыта.
Модераторы: arman29, DMS, Genk0, NightHunter
  1. Гульсина

    Гульсина Постоялец

    Регистр.:
    21 июн 2008
    Сообщения:
    65
    Симпатии:
    2
    Правильно ли то что установлено в нем?
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    с ipb разобралась, вот с джумлой особо не ковыряла подобные вещи.
    И как лучше составить Robots.txt ?

    что то тема без префикса не создается :ac:
     
  2. Maskad

    Maskad

    Заблокирован
    Регистр.:
    29 апр 2009
    Сообщения:
    727
    Симпатии:
    109
    Вот стандартный. можно sitemap прописать и для Яндекса отдельно host

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/
    Disallow: /search
     
  3. Гульсина

    Гульсина Постоялец

    Регистр.:
    21 июн 2008
    Сообщения:
    65
    Симпатии:
    2
    Я оставила как было только добавила
    User-agent: Yandex
    User-agent: google
    Host: сайт

    Что посоветуете для sitemap ? просто для ipb у меня плагин от яндекса,он сам генерит ссылки и т.д. а вот что для джумлы есть я не знаю.
     
  4. mmorok

    mmorok Постоялец

    Регистр.:
    23 июн 2009
    Сообщения:
    80
    Симпатии:
    7
    Xmap и Jcrawler - плагины
    SiteMap Generator - внешняя программа
     
  5. Maskad

    Maskad

    Заблокирован
    Регистр.:
    29 апр 2009
    Сообщения:
    727
    Симпатии:
    109
    насчет Jcrawler не знаю.
    а вот xmap то что надо.
    ставь эту версию http://joomlaforum.ru/index.php?topic=73721.0
     
    Гульсина нравится это.
  6. niza

    niza

    Регистр.:
    7 май 2009
    Сообщения:
    496
    Симпатии:
    115
    Это не обязательно добавлять,так как указывают роботов только яндекс и гугл.
    Если для всех роботов,то необходимо User-agent: *

    А у Вас уже стоит со звездочкой.
     
  7. Гульсина

    Гульсина Постоялец

    Регистр.:
    21 июн 2008
    Сообщения:
    65
    Симпатии:
    2
    Maskad Спасибо, поставлю.

    niza Со звездочкой я удалила же, поставила гугла и яшу.
     
  8. mmorok

    mmorok Постоялец

    Регистр.:
    23 июн 2009
    Сообщения:
    80
    Симпатии:
    7
    Тогда под каждого из ботов нужно повторять список деректив заново. То есть:

    Юзерагент Яндекс
    Дизаллоу /администратор/
    ...
    ...
    Дизаллоу /xmlrpc/


    Юзерагент Гугл
    Дизаллоу /администратор/
    ...
    ...
    Дизаллоу /xmlrpc/

    Я бы оставил со звездочкой.

    И еще. Для инетмагазина может быть актульна индексация фотографий товаров. Для похожих целей я себе создаю в корне отдельную папку /photo/ индексацию которой не запрещаю (/images/ у Вас закрыта дерективой в robots.txt)

    Резюме: оставьте стандартный, если есть зеркала пропишите хост и смотрите индексированные страницы в консоли вэбмастера. Что не захотите давать в индекс - закрывайте дерективами. У меня, например, так же закрыты /component/, /login/ и /message/.
     
    Гульсина нравится это.
  9. Гульсина

    Гульсина Постоялец

    Регистр.:
    21 июн 2008
    Сообщения:
    65
    Симпатии:
    2
    Ясно, спасибо)) лучше верну звездочку а я то думала эту звезду нужно заменить на поисковики))))))

    По поводу папок очень даже полезно.. теперь буду знать.
    Думаю это и для других полезно кто не знает.
     
  10. wasterel

    wasterel

    Регистр.:
    2 фев 2009
    Сообщения:
    330
    Симпатии:
    35
    У меня в индекс попали страницы [Joomla 1.5]:

    /weblinks/
    /search.html
    /wrapper.html

    Думаю их тоже можно включить в список. Установлен компонент sh404SEF.
     
Статус темы:
Закрыта.