Гугл жалуется на файл sitemap

Davahkiin

Davahkiin

Постоялец
Регистрация
20 Мар 2014
Сообщения
90
Реакции
4
Гугл жалуется на файл sitemap(говорит что url заблокированы в robots.txt) Изначально файл robots был такой -
Код: 
User-agent: Google
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Потом оставил только: Allow /, после этого на sitemap уже не жалуется. Могут попасть в индекс системные страницы wordpress если оставлю Allow / ?
 
С Disallow Вы закрыли страницы к движку сайта из приведенного списка
Насколько знаю юзер агент у гугла такой User-agent: Googlebot
 
Видимо просто в файл карты сайта попадали страницы, которые перечислены в роботс.тхт
Возможно стоит не нужные для индексации страницы убрать и из карты сайта.
 
смотреть нужно sitemap. там есть страницы которые запрещены у вас в роботс. соответственно либо удаляете их из sitemap либо находите и удаляете строку в robots которая запрещает их индексирование.
 
У меня в Sitemap есть ссылки, которые закрыты в robots.txt и Гугл нормально его принимает, следовательно не в этом том причина. Может быть сам sitemap лежит по адресу, который запрещен в robots.txt?
 
не знаю может какой то баг был, удалил сайтмап. затем добавил заново, и спустя несколько дней добавило и проиндексировало все.
 
А вам только гугл нужен? Поставьте в robots.txt
Код: 
User-agent: *
Думаю Яндекс, Mail, Rambler тоже не помешает. Ну и еще всякие поисковики
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху