Подскажите как такое сделать

Тема в разделе "Русские поисковики", создана пользователем umjammer, 27 июл 2009.

Статус темы:
Закрыта.
  1. umjammer

    umjammer

    Регистр.:
    4 июн 2007
    Сообщения:
    298
    Симпатии:
    19
    Нужно закрыть все фиды от яндекса, ато в яндекс ВМ он их в ошибки засовывает.В результате пишет Формат документа не поддерживается.
    Страницы вида site.ru/feed/ и site.ru/article/feed/

    Что нужно прописать в robots.txt?
     
  2. 22Striker22

    22Striker22 Постоялец

    Регистр.:
    17 янв 2008
    Сообщения:
    107
    Симпатии:
    69
    User-agent: *Disallow: /feed/ Disallow: /article/feed/

    Если не ошибаюсь.
     
  3. Disher

    Disher Постоялец

    Регистр.:
    25 июл 2009
    Сообщения:
    90
    Симпатии:
    8
    Если только для яндекса, то:

    User-agent: Yandex
    Disallow: /feed
    Disallow: /article/feed

    Если для всех роботов, то необходимо, как сказал 22Striker22, поставить User-agent: *
     
  4. 112tigra112

    112tigra112 Писатель

    Регистр.:
    29 июн 2009
    Сообщения:
    2
    Симпатии:
    0
    Во спасибо я тоже это как раз искал!
     
  5. extrimportal

    extrimportal

    Регистр.:
    28 ноя 2008
    Сообщения:
    561
    Симпатии:
    74
    Вот статтейку нашол. Как раз под вашы нужды. Боянище конечно. Но вы просили.
    Основные правила при создании и загрузке файла robots.txt:
    - не путать название, то есть называть файл robots.txt, а не robot.txt и так далее.
    - писать название файла robots.txt обязательно в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и так далее.
    - размещать файл robots.txt именно в корневой директории сайта, а не в каком другом месте.

    Также очень важно грамотное содержание файла robots.txt, поэтому расскажу подробнее об этом моменте. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

    Итак, из чего же состоит содержание файла robots.txt? Вот примерное его содержание:

    User-agent: *
    Disallow: /adminka/
    Disallow: /image/

    Давайте разберём содержание этого файла.
    Первая строка «User-agent: *». Звёздочка в инструкции User-agent обозначает, что данная инструкция относится ко всем поисковым роботам. Если инструкция предназначена для конкретного поискового робота, то необходимо прописать его имя.
    Вторая и третья строка запрещают индексацию директорий adminka и image. Обратите внимание, что каждая запрещённая к индексации директория прописана в отдельной строке. Совмещение их в одной строке является грубой ошибкой. Также нельзя переносить строки в пределах одной инструкции.

    Для поискового робота Яндекса актуально также писать директиву Host. Эта директива указывает роботу на основное зеркало этого сайта. В этой директиве можно прописать адрес сайта либо с www, либо без www. Какая разница спросите вы? Да никакой. Можно указывать и так, и так. Всё зависит исключительно от вашего желания. Никаких ограничений и ущемлений для вашего сайта не будет. Правильно написать директиву Host нужно так:

    User-agent: Yandex
    Disallow: /adminka/
    Host: www.site.ru

    А теперь приведу конкретные примеры написания файла robots.txt для различных задач.

    1. Запретить весь сайт к индексации всеми поисковыми роботами.

    User-agent: *
    Disallow: /

    2. Не запрещать весь сайт к индексации всеми поисковыми роботами.

    User-agent: *
    Disallow:

    3. Запретить весь сайт к индексации одним поисковым роботом (например, SeoBot).

    User-agent: SeoBot
    Disallow: /

    4. Не запрещать весь сайт к индексации одному роботу (например, SeoBot) и запретить к индексации всем остальным поисковым роботам.

    User-agent: SeoBot
    Disallow:

    User-agent: *
    Disallow: /

    5. Запретить несколько директорий к индексации всеми поисковыми роботами.

    User-agent: *
    Disallow: /directoria-1/
    Disallow: /directoria-1/
    Disallow: /hidedirectoria/

    6. Запретить несколько файлов к индексации всеми поисковыми роботами.

    User-agent: *
    Disallow: /hide.php
    Disallow: /secret.html

    Какие же ошибки следует не допускать в написании содержимого файла robots.txt?

    Вот основные правила написания содержимого файла robots.txt:

    1. Писать содержимое файла нужно только в нижнем регистре.
    2. В каждой инструкции Disallow указывать только одну директорию или один файл.
    3. Не менять местами инструкцию Disallow и User-agent.
    4. Не оставлять пустой строку User-agent. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.
    5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.
    6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.
    7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.
    8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.
    9. При запрещении к индексации директорий обязательно прописывать слеши.
    10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.
     
Статус темы:
Закрыта.