Гугл жалуется на файл sitemap

Тема в разделе "Вопросы новичков", создана пользователем Davahkiin, 2 июн 2014.

  1. Davahkiin

    Davahkiin Постоялец

    Регистр.:
    20 мар 2014
    Сообщения:
    86
    Симпатии:
    3
    Гугл жалуется на файл sitemap(говорит что url заблокированы в robots.txt) Изначально файл robots был такой -
    Код:
    User-agent: Google
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Потом оставил только: Allow /, после этого на sitemap уже не жалуется. Могут попасть в индекс системные страницы wordpress если оставлю Allow / ?
     
  2. Teceract

    Teceract

    Регистр.:
    15 фев 2009
    Сообщения:
    154
    Симпатии:
    71
    С Disallow Вы закрыли страницы к движку сайта из приведенного списка
    Насколько знаю юзер агент у гугла такой User-agent: Googlebot
     
  3. ARCOS_MSK

    ARCOS_MSK

    Регистр.:
    25 мар 2010
    Сообщения:
    150
    Симпатии:
    21
    Видимо просто в файл карты сайта попадали страницы, которые перечислены в роботс.тхт
    Возможно стоит не нужные для индексации страницы убрать и из карты сайта.
     
  4. sonic1978

    sonic1978 Постоялец

    Регистр.:
    26 янв 2013
    Сообщения:
    100
    Симпатии:
    9
    смотреть нужно sitemap. там есть страницы которые запрещены у вас в роботс. соответственно либо удаляете их из sitemap либо находите и удаляете строку в robots которая запрещает их индексирование.
     
  5. nomak11

    nomak11 Постоялец

    Регистр.:
    17 ноя 2013
    Сообщения:
    99
    Симпатии:
    9
    У меня в Sitemap есть ссылки, которые закрыты в robots.txt и Гугл нормально его принимает, следовательно не в этом том причина. Может быть сам sitemap лежит по адресу, который запрещен в robots.txt?
     
  6. Davahkiin

    Davahkiin Постоялец

    Регистр.:
    20 мар 2014
    Сообщения:
    86
    Симпатии:
    3
    не знаю может какой то баг был, удалил сайтмап. затем добавил заново, и спустя несколько дней добавило и проиндексировало все.
     
  7. Q_BASIC

    Q_BASIC

    Регистр.:
    30 ноя 2013
    Сообщения:
    352
    Симпатии:
    223
    А вам только гугл нужен? Поставьте в robots.txt
    Код:
    User-agent: *
    Думаю Яндекс, Mail, Rambler тоже не помешает. Ну и еще всякие поисковики
     
  8. b7186

    b7186

    Заблокирован
    Регистр.:
    19 янв 2011
    Сообщения:
    728
    Симпатии:
    91
    А что, у рамблера еще свой бот остался?
     
  9. Q_BASIC

    Q_BASIC

    Регистр.:
    30 ноя 2013
    Сообщения:
    352
    Симпатии:
    223
    Ну я про то что не только google надо. А так я не знаю есть ли у рамблера что то