robots.txt подскажите маску.

Тема в разделе "Тех. вопросы", создана пользователем one, 18 фев 2013.

  1. one

    one

    Регистр.:
    22 июн 2011
    Сообщения:
    409
    Симпатии:
    41
    Подскажите маску как в роботсе закрыть от индексации все страницы вида membersXXXX.html где XXXX цифровое значение.
     
  2. arsen

    arsen НЕрядовой

    Регистр.:
    16 июн 2011
    Сообщения:
    881
    Симпатии:
    309
    User-agent: *
    Disallow: /private().html
    Disallow: /foo().html
    Disallow: /bar().html
    где () это ваш номер
     
    evolvent и one нравится это.
  3. one

    one

    Регистр.:
    22 июн 2011
    Сообщения:
    409
    Симпатии:
    41
    Хых... И сколько таких строк будет в роботсе если страницы тысячи?

    Может как то так?

    Disallow: /members*.html
     
  4. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.746
    Симпатии:
    1.159
    Если сам знаешь, зачем тогда спрашиваешь? Твой вариант подходит.
     
  5. one

    one

    Регистр.:
    22 июн 2011
    Сообщения:
    409
    Симпатии:
    41
    Если бы я знал, я бы топика не создавал... Я гадаю...

    Если указать так, то исключаться все страницы содержащие members и .html?
     
  6. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.746
    Симпатии:
    1.159
    Нет, только мемберс и мемберс с цифрами. Страницы типа 111.html останутся. Если мемберс хочешь оставить, то вот так:
    User-agent: *
    Disallow: /members*.html
    Allow: /members.html

    Или давай реальный сайт под хайдом, и примеры ссылок что запретить.
     
    one нравится это.
  7. SvT

    SvT sponsor

    Регистр.:
    30 мар 2006
    Сообщения:
    103
    Симпатии:
    8
    Что бы особо не гадать, ТС, можешь воспользоваться сервисом от яндекса по проверке роботса: http://webmaster.yandex.ru/robots.xml
    у гугла тоже есть.
    А так без сайта все могут ошибаться в предлагаемом роботсе, ибо можно закрыть что-то полезное.
     
    Edu-profit нравится это.
  8. bboyspek

    bboyspek Создатель

    Регистр.:
    8 май 2015
    Сообщения:
    33
    Симпатии:
    10
    Это не совсем правильно, так как ты не знаешь в каком уровне вложонности находится URL members.html
    Так что правильно будет просто
    Disallow: */members*.html и не надо ничего открывать
     
  9. sergp

    sergp

    Регистр.:
    10 янв 2014
    Сообщения:
    301
    Симпатии:
    293
    У меня вопрос такой: в robots стоит запрет на индексацию /cart? , но в яндекс вебмастере в структуре сайта куча страниц-корзин яндексом проиндексировано видимо их робот сам накидал на сайте. Ведь их не нужно индексировать ? Они мешают индексированию других нужных страниц сайта. Как запретить?
     
    Последнее редактирование: 20 мар 2016
  10. nulledpapa

    nulledpapa Постоялец

    Регистр.:
    1 фев 2016
    Сообщения:
    149
    Симпатии:
    94
    желательно полную ссылку увидеть, ну то ладно!

    вот тебе пример где есть корзина с моего рабочего сайта: он немного оптимизирован для тебя:

    надеюсь мой пост поможет тебе понять как строить роботс))) там все просто!