Вопрос по robot.txt

Тема в разделе "Вопросы новичков", создана пользователем ws256, 14 фев 2012.

Статус темы:
Закрыта.
  1. ws256

    ws256

    Регистр.:
    15 июл 2009
    Сообщения:
    259
    Симпатии:
    63
    Суть такова, есть сайт, на нем страницы, рубрки, метки. Через робот закрыл от индекса страницы и метки для того чтобы исключить дублирующий контент (гугл не отреагировал, что странно, все остальные нормально, но вотпрос не в этом). Это было давно. Теперь хочу раскрыть для поиска одну метку, пишу в роботе:

    Код:
    Allow: /tag/*метка*/
    Disallow: /tag/
    Disallow: /page/
    Disallow: /author/
    
    Толку нет, времяни прошло больше месяца. Вопрос почему они (например Яндекс) не хотят играть по моим правилам?
     
  2. m25

    m25 Постоялец

    Регистр.:
    30 ноя 2009
    Сообщения:
    139
    Симпатии:
    45
  3. ws256

    ws256

    Регистр.:
    15 июл 2009
    Сообщения:
    259
    Симпатии:
    63
    Я в курсе.
    Пример из мануала:
    Код:
    User-agent: Yandex
    Allow: /cgi-bin
    Disallow: /
    # запрещает скачивать все, кроме страниц
    # начинающихся с '/cgi-bin'
    Вывод у меня запрещает скачивать все меки, кроме /*метка*/ и не работает

     
  4. Chvalov

    Chvalov

    Регистр.:
    31 окт 2011
    Сообщения:
    235
    Симпатии:
    76
    дайте ответ, такая же проблема!
     
  5. eXploide

    eXploide Создатель

    Регистр.:
    9 апр 2008
    Сообщения:
    12
    Симпатии:
    1
  6. reservist

    reservist Постоялец

    Регистр.:
    5 авг 2008
    Сообщения:
    105
    Симпатии:
    16
    Проверь файл роботс на валидность в специализированный сервисах. Попробуй /tag/*метка*/ запихнуть в индекс вручную через яндекс-вебмастер
     
  7. TIIIMOXAN

    TIIIMOXAN

    Регистр.:
    1 сен 2009
    Сообщения:
    403
    Симпатии:
    65
    Правильно будет вот так:

    Allow: /tags/1$
    Disallow: /tag/
    Disallow: /page/
    Disallow: /author/
     
  8. hoopeer

    hoopeer

    Регистр.:
    10 фев 2007
    Сообщения:
    807
    Симпатии:
    250
    Я лично для каждого поисковика прописываю условия: для Яндекса, для Гугла, а потом для всех, в итоге получается три конструкции. Так точно можно избежать игнорирования поисковиком роботса. Но вообще говорят, что роботс - это не рекомендация поисковику, поэтому можно и рекомендовать не индексить, но всё равно будет индексить...
     
  9. Sunday

    Sunday

    Регистр.:
    13 дек 2009
    Сообщения:
    732
    Симпатии:
    323
    Абсолютно ненужная работа, если все эти конструкции одинаковы.
    Есть стандартные правила этого файла, которых придерживаются все ПС и не нужно огород городить.
     
  10. hoopeer

    hoopeer

    Регистр.:
    10 фев 2007
    Сообщения:
    807
    Симпатии:
    250
    Sunday, например, директива Host есть только у Яндекса, зачем ею кормить другие поисковики?;)
     
Статус темы:
Закрыта.