Помощь robots.txt помогите настроить

Тема в разделе "Opencart", создана пользователем NaviCross, 28 авг 2015.

Информация :
Внимание форумчане! При создании тем, или выкладывании какой-либо информации проверьте в какой ветке форума вы находитесь! Не путайте Opencart и Opencart2. При несоблюдении данного условия выносится соответствующее наказание! И потом не говорите что вас НЕ ПРЕДУПРЕЖДАЛИ! По возможности используйте обменники mail, yandex, google, dropbox, rghost Дабы избежать просьб перезалить и проблем с рекламой!
Модераторы: ZiX
  1. NaviCross

    NaviCross Создатель

    Регистр.:
    27 апр 2015
    Сообщения:
    42
    Симпатии:
    1
    Итак, наконец доделал второй сайт , я совершенно не знаток этого дела, поэтому для меня это достижение.

    Стал вопрос что-бы правильно настроить робота.

    Какие сейчас актуальные настройки ? Что-бы гугл с яндексом не ругалсиь.

    Как я знаю , гуглу нужно открыть стили, а где их искать?

    Все гениальное просто, гугл ругался, гугл показал где проблема, следуя его сообщениям и исправил свой робот.
     
    Последнее редактирование модератором: 30 авг 2015
  2. inturned

    inturned Webmaster & Designer

    Регистр.:
    7 ноя 2011
    Сообщения:
    533
    Симпатии:
    252
    robots.txt - по большому счету делает лишь доступ к каким-то страницам, а к каким-то нет. А как впринципе чтобы не ругался? открываешь ссылки и сайт на индексацию, вообще в опенкарте изначально настроенный robots.txt

    P.S. Может не правильно понял вопроса :rolleyes:
     
  3. derbass

    derbass Создатель

    Регистр.:
    30 сен 2013
    Сообщения:
    17
    Симпатии:
    3
    https://webmaster.yandex.ru/robots.xml - самый толковый справочник по этому вопросу, решает любые вопросы.
     
  4. animal_x

    animal_x

    Регистр.:
    22 июн 2012
    Сообщения:
    404
    Симпатии:
    134
    Сначала пойдет и стандартный роботс, потом сдели в вебмастерс, если появляются дубли (смотри по дублям метатегов) то закрывай их. Для гугла, да, нужно открывать и стили и скрипты, т.к он стал видеть страницы как мы в браузере.
     
  5. Siberex

    Siberex Постоялец

    Регистр.:
    12 окт 2009
    Сообщения:
    145
    Симпатии:
    25
    Подскажите, пожалуйста, как закрыть от сканирования /catalog и в тоже время разрешить в нём сканирование картинок, стилей и скриптов?
     
  6. wenberis

    wenberis Постоялец

    Регистр.:
    14 апр 2014
    Сообщения:
    65
    Симпатии:
    51
    Мой пример

    Disallow: /*catalog
     

    Вложения:

    • robots.txt
      Размер файла:
      3,4 КБ
      Просмотров:
      4
    Последнее редактирование модератором: 22 окт 2015
    ZiX нравится это.
  7. Bank911

    Bank911 Писатель

    Регистр.:
    22 ноя 2012
    Сообщения:
    2
    Симпатии:
    0
    Кажется это не совсем корректное решение.
    По сути вопроса:
    Disallow: /catalog
    Allow: /catalog/view/jawascript (остальные папки по аналогии).

    Я полностью открыл каталог, там ничего секретного нет. Для уверенности можно проверить на яндексе по указанной выше ссылке.
     
  8. Jay-Black

    Jay-Black Постоялец

    Регистр.:
    14 сен 2007
    Сообщения:
    55
    Симпатии:
    6
    Чтобы открыть стили и скрипты роботам можно просто добавить
    Allow: *.css
    Allow: *.js
    после всех Disallow
     
    MrSlade нравится это.
  9. Nikolays

    Nikolays Создатель

    Регистр.:
    10 дек 2014
    Сообщения:
    44
    Симпатии:
    5
    Robots.txt для opencart. Да уж там есть с чем поломать голову. А если еще проверять потом на то как гугл на него реагирует и яша то вообще полный абзац. Очень долго подбирал разные варианты для своих 3 х сайтов. Сейчас остановился на таком:



    Главное нет дублей на сайте и все страницы с товаром и категории в индексе. В общем все что нужно !
    Надеюсь помог =)
     
    Последнее редактирование: 4 ноя 2015