Помощь Robots блокирует ссылки в sitemap

[Komodnik]

Друзья, подскажите пожалуйста, в чем может быть проблема и как это можно решить?

Robots.txt:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Sitemap:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[fr4nt]

Там можно посмотреть, какие именно страницы блокируются роботсом.

 

[Komodnik]

Там можно посмотреть, какие именно страницы блокируются роботсом.

Подскажите как єто можно сделать, где посмотреть. Вы можете конкретно показать страницу в роботс и в карте?

 

[zxcvb333]

Инструмент проверки файла robots.txt
там внизу есть строка для ввода адреса. Вводите любую заблокированную страницу и оно сразу покажет какой директивой блокируется индекс.

 

[Komodnik]

Разобрался сам. На форумах нашел инфу что касается опенкарта. Удалил одну строку из роботс и всё решилось.

 

[Animal]

Разобрался сам. На форумах нашел инфу что касается опенкарта. Удалил одну строку из роботс и всё решилось.

Прикольный шаб не подскажешь как называется ?

 

[Ask4morE]

Доброго времени суток
У меня точно такая же проблема. Причем, пишет не ошибку а предупреждение.
Пробовал пустой файл robots.txt но, проблема не проходит. (возможно надо подождать несколько дней?)
Инструмент проверки от гугл пишет, что страница не заблокирована.
Имеется
site.com
site.com/about_us , указываются гуглом как пример.
Все банальные варианты уже проверил:
sitemap.xml доступен, открывается быстро. (единственное что, нет физического файла, он генерируется и выдается)
robots.txt доступен
Пример сайта привести не могу. Версия opencart 2.0.1.1
Буду признателен, за любую помощь в данном вопросе.

 

[Fori]

Доброго времени суток
У меня точно такая же проблема. Причем, пишет не ошибку а предупреждение.
Пробовал пустой файл robots.txt но, проблема не проходит. (возможно надо подождать несколько дней?)
Инструмент проверки от гугл пишет, что страница не заблокирована.
Имеется
site.com
site.com/about_us , указываются гуглом как пример.
Все банальные варианты уже проверил:
sitemap.xml доступен, открывается быстро. (единственное что, нет физического файла, он генерируется и выдается)
robots.txt доступен
Пример сайта привести не могу. Версия opencart 2.0.1.1
Буду признателен, за любую помощь в данном вопросе.

У меня была схожая проблема, только с версией 1.5, но я изменил robots и прописал корректно файл sitemap и через время, после очередной индексации - прошло.

 

[Ask4morE]

В общем, я разобрался. Так совпало, что у меня несколько сайтов выпускались плюс минус в одно и тоже время.
В какой-то момент времени google нашел сайт, понюхал роботс в котором написано закрыть от индексации все и всех и запомнил это.

Когда я открыл сайт для ПС страницы были скушаны, но даже главная и информационные страницы были якобы заблокированы - причина в том, что гугл не успевает переварить информацию разными сервисами одновременно.

Я ничего не делал и через 2 недели все ошибки чудесным образом пропали. Хочу подчеркнуть, это "работает" в случае, если проверка robots.txt говорит что все в порядке.