конфликт в "robots"

[Rastafan]

Народ подскажит плз будет ли индексироваться сайт если в robots.txt записано: User-agent: * Disallow: /
а в мета теге, записана следующая конструкция: <meta http-equiv="robots" content="index,follow">
Встречал в индексе гугла сайты, где были совмещены эти "несовместимые" вещи.

 

[sergmd]

небудет индексироваться, на мета теги типа index,follow или revisit-after бот давно ложит болт

 

[Shatun]

Встречал в индексе гугла сайты, где были совмещены эти "несовместимые" вещи.

Встречал имеено такие вещи? в роботсе Disallow, а в метатегах разрешение на индексирование? Интересно было посмотреть на такой сайт и почему он еще в индексе. Я тоже считаю, что роботс.txt главнее для робота и не должен сайт индексироваться. Может просто еще выпасть не успел из индекса...

 

[vitxxl]

в индексе,значит робот до него еще не добрался, robots.txt любой паук запрашивает первым делом так что все эти метатеги на фиг бесполезные)

 

[AdmiralDreyk]

приоритет за robots.txt на метатеги ПС смотрят постольку -поскольку. Хотя сталкивался с ситуацией когда пути изначально запрещены в роботсе но ПС по ним все равно ходит

 

[skabbit]

во всех мануалах для вебмастеров на поисковиках сказано - robots.txt первостепенен.
наверняка даже если по статсам проверить - бот его первым кушает

 

[studik]

Бот ПС сначала обращается к роботс.тхт и смотрит правила. Если его нету - лезет на морду и проверяет нету ли в метатегах.
Неплохой рес. в тему.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.