1. Уважаемые пользователи, прежде чем ответить в теме или создать новую,
    внимательно ознакомьтесь с правилами раздела

    Кому лень работать или руки не оттуда - пользуйтесь услугами специалистов
  2. Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.."

    Есть JED!!! Ищите там!!!

Помощь Поделитесь вашими Robots.txt

Тема в разделе "Joomla", создана пользователем Sektantik, 1 окт 2016.

Информация :
  • Уважаемые пользователи, прежде чем ответить в теме или создать новую, внимательно ознакомьтесь с правилами раздела
  • Не задавайте глупых вопросов "Посоветуйте какой-нибудь компонент.." Есть JED!!! Ищите там!!!
  • Аналоги ищите там же - на JED!!!
  • Новая версия? - У кого будет - тот выложит!
Модераторы: arman29, DMS
  1. Sektantik

    Sektantik Постоялец

    Регистр.:
    9 дек 2013
    Сообщения:
    115
    Симпатии:
    24
    Друзья поделитесь вашими robots.txt пожалуйста, стоковые выкладывать не нужно.
     
  2. Trytone

    Trytone Постоялец

    Регистр.:
    14 май 2016
    Сообщения:
    102
    Симпатии:
    12
    Пришлось открыть в роботсе компоненты, модули и шаблон.
    Теперь это гугл требует.
    Кстати позиции в гугле после этого поднялись.
     
  3. shadowrun

    shadowrun

    Регистр.:
    13 июл 2011
    Сообщения:
    199
    Симпатии:
    132
    а смысл выкладывать роботс?
    каждый роботс строго индивидуален в зависимости от используемых расширений и архитектуры сайта
     
  4. Sektantik

    Sektantik Постоялец

    Регистр.:
    9 дек 2013
    Сообщения:
    115
    Симпатии:
    24
    Можете выложить ваш robots.txt
     
  5. Trytone

    Trytone Постоялец

    Регистр.:
    14 май 2016
    Сообщения:
    102
    Симпатии:
    12
    Смысла выкладывать нет. Создайте свой на основе дефолтного.
    Я Вам больше того скажу - в разных сдижках разный роботс.
    Но принцип один.
    Сперва следует юзер-агент, а за ним запреты или разрешения.
    User-agent: * [звёздочка означает что угодно - яндекс, гугл, и прочие]
    Disallow: /adminka/ [запрет роботам посещать файлы в папке "adminka"]
    Disallow: /search* [запрет индексации страниц поиска на сайте. Но URL СТРАНИЦ ПОИСКА может быть другим. Нпример /?s=* ]
    Allow: /images/ [разрешить роботам просмотр файлов в папке с картинками включая вложеенные папки]
    Disallow: / [полностью запрещает индексацию сайта. с такой строчкой сайт либо никогда не проиндексируется, либо вылетит из поисковиков очень быстро]
    Host: www.moi-sait.ru [указывает роботам основное зеркало зайта. С www и без www - это два разных сайта с точки зрения поисковиков.]

    А ещё с помощью robots.txt можно избавиться от дублей страниц.
     
  6. denis87

    denis87 Создатель

    Регистр.:
    8 мар 2013
    Сообщения:
    36
    Симпатии:
    3
    Открываешь любой сайт и дописываешь в пути \robots.txt, и все файлы у в твоей власти, делай с ними чо хочешь =)

    А так вот один из моих

    User-Agent: *
    Disallow:

    User-Agent: Googlebot
    Disallow: /cgi-bin/
    Disallow: /contact_form/
    Disallow: /css/
    Disallow: /js/
    Disallow: /twitter/
    Disallow: /webstat/
    Disallow: /bases/

    User-Agent: Yandex
    Disallow: /cgi-bin/
    Disallow: /contact_form/
    Disallow: /css/
    Disallow: /js/
    Disallow: /twitter/
    Disallow: /webstat/
    Disallow: /bases/

    User-agent: Mail.Ru
    Disallow: /cgi-bin/
    Disallow: /contact_form/
    Disallow: /css/
    Disallow: /js/
    Disallow: /twitter/
    Disallow: /webstat/
    Disallow: /bases/

    Host: ***.ru

    Sitemap: http://***.ru/sitemap.xml
     
    Sektantik нравится это.
  7. kolhoz

    kolhoz Писатель

    Регистр.:
    16 мар 2015
    Сообщения:
    6
    Симпатии:
    0
    # If the Joomla site is installed within a folder
    # eg www.example.com/joomla/ then the robots.txt file
    # MUST be moved to the site root
    # eg www.example.com/robots.txt
    # AND the joomla folder name MUST be prefixed to all of the
    # paths.
    # eg the Disallow rule for the /administrator/ folder MUST
    # be changed to read
    # Disallow: /joomla/administrator/
    #
    # For more information about the robots.txt standard, see:
    # http://www.robotstxt.org/orig.html
    #
    # For syntax checking, see:
    # http://tool.motoricerca.info/robots-checker.phtml

    User-agent: *
    Disallow: /administrator/
    Disallow: /bin/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /layouts/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /tmp/
     
  8. denis87

    denis87 Создатель

    Регистр.:
    8 мар 2013
    Сообщения:
    36
    Симпатии:
    3
    допиши в своем роботе имя хоста и путь к файлу карты сайта, так робот поисковых систем быстрее будет все находить на твоем сайте

    Host: ***.ru

    Sitemap: http://***.ru/sitemap.xml
     
  9. kira1992

    kira1992 Создатель

    Регистр.:
    18 май 2013
    Сообщения:
    34
    Симпатии:
    5
    У меня robots.txt стандартный, но я еще добавляю туда:
    Allow: /*.css?*$
    Allow: /*.js?*$
    Allow: /*.jpg?*$
    Allow: /*.png?*$
    Disallow: /index.php
    Sitemap: httр://mysite.com/sitemap.xml
    А зачем копировать одно и то же для разных поисковых систем и только менять название поисковика?
    И зачем скрывать стили? Вы знакомы с рекомендациями поисковиков по поводу файла robots.txt?
    Насколько я знаю css и js скрыть не рекомендуется. Но я не эксперт в этом вопросе, поэтому было бы неплохо услышать и мнение других.
     
  10. denis87

    denis87 Создатель

    Регистр.:
    8 мар 2013
    Сообщения:
    36
    Симпатии:
    3
    Смысл в том что бы приветствовать роботов и направлять только по тем местам куда мне нужно. css и js там никакой семантики моего сайта нету, и делать им там нечего.