конфликт в "robots"

Тема в разделе "Вопросы новичков", создана пользователем Rastafan, 24 сен 2008.

Статус темы:
Закрыта.
  1. Rastafan

    Rastafan

    Регистр.:
    1 фев 2008
    Сообщения:
    649
    Симпатии:
    169
    Народ подскажит плз будет ли индексироваться сайт если в robots.txt записано: User-agent: * Disallow: /
    а в мета теге, записана следующая конструкция: <meta http-equiv="robots" content="index,follow">
    Встречал в индексе гугла сайты, где были совмещены эти "несовместимые" вещи.
     
  2. sergmd

    sergmd Постоялец

    Регистр.:
    3 ноя 2007
    Сообщения:
    85
    Симпатии:
    18
    небудет индексироваться, на мета теги типа index,follow или revisit-after бот давно ложит болт
     
  3. Shatun

    Shatun

    Регистр.:
    24 июл 2007
    Сообщения:
    164
    Симпатии:
    21
    Встречал имеено такие вещи? в роботсе Disallow, а в метатегах разрешение на индексирование? Интересно было посмотреть на такой сайт и почему он еще в индексе. Я тоже считаю, что роботс.txt главнее для робота и не должен сайт индексироваться. Может просто еще выпасть не успел из индекса...
     
  4. vitxxl

    vitxxl Постоялец

    Регистр.:
    13 апр 2008
    Сообщения:
    84
    Симпатии:
    8
    в индексе,значит робот до него еще не добрался, robots.txt любой паук запрашивает первым делом так что все эти метатеги на фиг бесполезные)
     
  5. AdmiralDreyk

    AdmiralDreyk Постоялец

    Регистр.:
    28 авг 2007
    Сообщения:
    90
    Симпатии:
    17
    приоритет за robots.txt на метатеги ПС смотрят постольку -поскольку. Хотя сталкивался с ситуацией когда пути изначально запрещены в роботсе но ПС по ним все равно ходит
     
  6. skabbit

    skabbit Постоялец

    Регистр.:
    6 дек 2007
    Сообщения:
    88
    Симпатии:
    1
    во всех мануалах для вебмастеров на поисковиках сказано - robots.txt первостепенен.
    наверняка даже если по статсам проверить - бот его первым кушает :)
     
  7. studik

    studik

    Регистр.:
    7 сен 2007
    Сообщения:
    194
    Симпатии:
    25
    Бот ПС сначала обращается к роботс.тхт и смотрит правила. Если его нету - лезет на морду и проверяет нету ли в метатегах.
    Неплохой рес. в тему.
    http://robotstxt.org.ru/
     
Статус темы:
Закрыта.