Закрыть от индекса Urlы offset_

Тема в разделе "Shop-cms", создана пользователем BestFish, 26 июн 2016.

  1. BestFish

    BestFish

    Регистр.:
    14 июн 2014
    Сообщения:
    162
    Симпатии:
    11
    Доброго времени суток, столкнулся с дублями страниц типа: сайт\категория\offset_20, цифра в конце меняется, бывает 20, 40, 40, и тд... Подскажите как закрыть от индекса страницы с offset_Х?
    В роботс тхт Disallow: */offset_* добавлено.
     
  2. Denzy

    Denzy Писатель

    Регистр.:
    29 июл 2016
    Сообщения:
    1
    Симпатии:
    0
    Disallow: *_offset_*
    Disallow: *_show_all*
     
  3. aroman80

    aroman80 Создатель

    Регистр.:
    28 мар 2012
    Сообщения:
    27
    Симпатии:
    4
    и добавить,
    если для всех поисковых
    User-agent: *
    если для конкретных
    User-agent: Yandex
     
  4. zabolots

    zabolots Постоялец

    Регистр.:
    11 сен 2012
    Сообщения:
    56
    Симпатии:
    16
    Звездочка в конце не нужна – по умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * (см. доки Яндекса). Перейти по ссылке про Clean-param – это похоже то, что вам нужно в данном случае.
     
  5. denem

    denem Писатель

    Регистр.:
    17 окт 2015
    Сообщения:
    1
    Симпатии:
    0