Проблема с robots.txt

Тема в разделе "Вопросы новичков", создана пользователем rentgen200931, 29 янв 2010.

Статус темы:
Закрыта.
  1. rentgen200931

    rentgen200931 Создатель

    Регистр.:
    25 ноя 2009
    Сообщения:
    18
    Симпатии:
    0
    Проблема вот в чем. Есть сайт на DLE. Сегодня залез в webmaster гугла, и увидел вот какую картину: в robots.txt запрещены к индексации все статьи. Однако я не запрещал. Вот сам robots.txt:

    User-agent: *
    Disallow: /*print
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /user/
    Disallow: /index.php?do=register
    Disallow: /index.php?do=lastcomments
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /statistics.html
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts
    Sitemap: http://site.ru/sitemap.xml
    User-agent: Yandex
    Host: site.ru


    На сайте полтора месяца лежит фильтр Яши, может это повлияло?
    Что может быть? Как исправить?
     
  2. rentgen200931

    rentgen200931 Создатель

    Регистр.:
    25 ноя 2009
    Сообщения:
    18
    Симпатии:
    0
    Все, пардон. Разобрался.:)
     
  3. rangerio

    rangerio Постоялец

    Регистр.:
    20 янв 2010
    Сообщения:
    60
    Симпатии:
    2
    ТС, нужно было написать, что именно не так, может, кому-то пригодится.
    Вот тут ошибка:
    Не нужна эта строка. Запрещает индексацию раздела "Непрочитанное", куда попадают все новые посты :)
     
  4. rentgen200931

    rentgen200931 Создатель

    Регистр.:
    25 ноя 2009
    Сообщения:
    18
    Симпатии:
    0
    Там все правильно было в вебмастере))) Это я невнимательно посмотрел. Там запрещены к индексации статьи для печати. Кстати, надо их запрещать для индексации или нет?
     
  5. HellWorm

    HellWorm

    Регистр.:
    16 май 2007
    Сообщения:
    372
    Симпатии:
    59
    Да нужно закрывать от индексации , так как это дубли страниц !
     
Статус темы:
Закрыта.