В какой кодировке писать robots.txt

Тема в разделе "Вопросы новичков", создана пользователем blacks, 19 авг 2009.

Статус темы:
Закрыта.
  1. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Доброе утро всем.

    Загружать на сервер через фтп понятно через что...
    А вот в какой кодировке писать robots.txt сомнения берут :/
    Подскажите пожалуйста.

    Спасибо.
     
  2. Dmytr0

    Dmytr0

    Регистр.:
    11 авг 2008
    Сообщения:
    242
    Симпатии:
    34
    Странный вопрос. Какое значение имеет кодировка для латиницы?
     
  3. falc00n

    falc00n Прохожие

    robots.txt это обычный текстовый файл и сохраняете текст в обычном текстовом файле. никто никогда не попросит вас поменять кодировку. в блокноте обычном можно сделать. только если вы не сохраните на иврите, проблем не должно быть
     
  4. Disher

    Disher Постоялец

    Регистр.:
    25 июл 2009
    Сообщения:
    90
    Симпатии:
    8
    Не согласен, вот Перейти по ссылке (А создавал и загружал он файл в каком-то html редакторе)
    P.S. Кстати, проблемы могут возникнуть в случае, если php скрипт сохранен с BOM, т.к. физически символ находится до <?php, что может спровоцировать httpd выдавать не правильные заголовки.
     
  5. bugargen

    bugargen

    Регистр.:
    24 апр 2008
    Сообщения:
    232
    Симпатии:
    19
    Сейчас, ПС закрывают глаза на многое, посему - способны пережёвывать всякого рода хрень, но лучше придерживаться стандартов, ведь всякое может быть :)

    Robots.txt нужно составлять не в "Блокноте", а в кодировке UNIX.
    Многие FTP клиенты сами умеют переводить кодировку Robots.txt в нужный формат. Но это так, к слову :)

    ЗЫ: Где-то в Гугле встречал обзорчик, специально проведённый с целью выяснить, как народ этот чудо-файл составляют. Так вот ошибок и отступлений от стандарта было море. Доходило просто до смешного, типа перевёрнутых между собой User-agent и Disallow :D
     
  6. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    она так и называется?
    у меня только ANSI и UTF-8(с бум и без бум) в редакторе есть:confused:

    это еще нужно знать какие чтоб на авось не положиться.
     
  7. Azat868

    Azat868 Создатель

    Регистр.:
    11 июн 2008
    Сообщения:
    10
    Симпатии:
    0
    вапще на эт внимания не обращал, пользовался блокнотом и все тут:)
     
  8. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Обоснуйте зачем и почему.
    Или сообщение во флуд.

    + Пара вопросов:
    1й ВОПРОС​
    Как правильно указывать папки?
    Disallow: /images
    или
    Disallow: /images/
    - посмотрел _hxxp://robotstxt.org.ru/robots.txt - так там по разному написанно - не поймешь


    2й ВОПРОС​
    Также как правильно писать - яндекс сверху или яндекс снизу?
    Код:
    User-agent: *
    Disallow: /css/
    
    User-agent: Yandex
    Disallow: /css/
    Host: www.example.com
    или
    Код:
    User-agent: Yandex
    Disallow: /css/
    Host: www.example.com
    
    User-agent: *
    Disallow: /css/
    Спасибо
     
  9. acelotuse

    acelotuse

    Регистр.:
    31 мар 2009
    Сообщения:
    312
    Симпатии:
    37
    яндекс лучше внизу, а вверху указания для всех роботов в целом. Думаю, особо не принципиально, но все роботс, и все примеры, что я видел были именно так и созданы: общие команды вверху, остальные для каждого бота - ниже.
    Кстати, не перегружай особо роботс, если будет больше 32 килобайт кажись, (что-то примерно рядом), то яндекс его проигнорирует. Читал на их же сайте в указаниях к применению роботс.

    Папку прописывай /css/ вместе с закрывающим слешем.
     
  10. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Мне кажется принципиально - просто читал где-то об этом
    но так и не смог найти той заметки.
    У кого еще есть мнение на этот счет?


    Странно - почему же тогда даже на самом сайте об роботс "закрывающего" слеша нет?
     
Статус темы:
Закрыта.