Robots.txt и чпу

Тема в разделе "Вопросы новичков", создана пользователем ManCuniAn, 7 ноя 2009.

Статус темы:
Закрыта.
  1. ManCuniAn

    ManCuniAn

    Регистр.:
    5 фев 2009
    Сообщения:
    269
    Симпатии:
    32
    У меня DLE, и мне надо запретить индексацию пару ссылок.....но они в чпу варианте.....
    и вот 2 день бьюсь, и не могу прописать для них robots в проверке yandex пишет что ссылки разрешены.......
    прописывал disallow как чпу варианте так и в обычном....
    так как мне прописывать?
     
  2. solarscape

    solarscape Постоялец

    Регистр.:
    19 июл 2009
    Сообщения:
    109
    Симпатии:
    8
    User-agent: Yandex
    Disallow: /page.html

    Так пробовали?
     
  3. капрал

    капрал

    Регистр.:
    2 окт 2008
    Сообщения:
    336
    Симпатии:
    45
    ЧПУ - оно только для ботов и посетителей чпу, а для сервера и скрииптов - как вызов скрипта с параметрами. значит не правильно прописываешь в дисалау опции урл.

    а еще лучше, юзай для надежности в шаблонах DLE:
    Код:
    <meta name="robots" content="nofollow, noindex" />
    
     
  4. PROSEO

    PROSEO

    Регистр.:
    28 фев 2008
    Сообщения:
    358
    Симпатии:
    134
    Не совсем понятно что это даст
    шаблон ведь для всего сайта, а не отдельной страницы
    а зачем нам сайт который весь в "nofollow, noindex" ?
     
  5. ManCuniAn

    ManCuniAn

    Регистр.:
    5 фев 2009
    Сообщения:
    269
    Симпатии:
    32
    Ввожу допустим ссылка Disallow: main/711-sdjkbfvsdjnv.html
    вхожу в проверку коректности роботс и вставляю там полное url сайт.ru/main/711-sdjkbfvsdjnv.html проверяю---пишет доступ к странице разрешен.
     
  6. капрал

    капрал

    Регистр.:
    2 окт 2008
    Сообщения:
    336
    Симпатии:
    45
    а ты попробуй писать:
    Код:
    Disallow: [B]/[/B]main/711-sdjkbfvsdjnv.html
    
    про использование мета тегов (только надо будет включить обработку php:(
    Код:
    <?php
    if(preg_match("/^\/main\/711-sdjkbfvsdjnv\.html$/i", $_SERVER['REQUEST_URI']))
    echo '<meta name="robots" content="nofollow, noindex" />'
    ?>
    
    если надо содать много исключений - используй многострочные регулярки (для удобности чтения) или выноси этот кусок кода в отдельный файл
     
  7. sergl

    sergl Создатель

    Регистр.:
    31 авг 2007
    Сообщения:
    15
    Симпатии:
    0
    прописывай в чпу варианте, все должно работать
     
Статус темы:
Закрыта.