В какой кодировке писать robots.txt

[blacks]

Доброе утро всем.

Загружать на сервер через фтп понятно через что...
А вот в какой кодировке писать robots.txt сомнения берут :/
Подскажите пожалуйста.

Спасибо.

 

[Dmytr0]

Странный вопрос. Какое значение имеет кодировка для латиницы?

 

[falc00n]

robots.txt это обычный текстовый файл и сохраняете текст в обычном текстовом файле. никто никогда не попросит вас поменять кодировку. в блокноте обычном можно сделать. только если вы не сохраните на иврите, проблем не должно быть

 

[Disher]

не то что недолжно быть проблем, а их и не будет.
Главное сдесть только то, что вы в нём напишите - других проблем нет.

Не согласен, вот Для просмотра ссылки Войди или Зарегистрируйся на гуглгрупс, где вебмастер жалуется на то, что гугл "ненавидит" его robots.txt, на что ему отвечают, что его файл создан с Для просмотра ссылки Войди или Зарегистрируйся (А создавал и загружал он файл в каком-то html редакторе)
P.S. Кстати, проблемы могут возникнуть в случае, если php скрипт сохранен с BOM, т.к. физически символ находится до <?php, что может спровоцировать httpd выдавать не правильные заголовки.

 

[bugargen]

Сейчас, ПС закрывают глаза на многое, посему - способны пережёвывать всякого рода хрень, но лучше придерживаться стандартов, ведь всякое может быть

Robots.txt нужно составлять не в "Блокноте", а в кодировке UNIX.
Многие FTP клиенты сами умеют переводить кодировку Robots.txt в нужный формат. Но это так, к слову

ЗЫ: Где-то в Гугле встречал обзорчик, специально проведённый с целью выяснить, как народ этот чудо-файл составляют. Так вот ошибок и отступлений от стандарта было море. Доходило просто до смешного, типа перевёрнутых между собой User-agent и Disallow

 

[blacks]

Robots.txt нужно составлять не в "Блокноте", а в кодировке UNIX.

она так и называется?
у меня только ANSI и UTF-8(с бум и без бум) в редакторе есть

Многие FTP клиенты сами умеют переводить кодировку Robots.txt в нужный формат.

это еще нужно знать какие чтоб на авось не положиться.

 

[Azat868]

вапще на эт внимания не обращал, пользовался блокнотом и все тут

 

[blacks]

Качайте notepad++ вот отсюда Для просмотра ссылки Войди или Зарегистрируйся и будет вам щастье
И не сохраняйте роботс дот тхт в Dreamweaver'е!!

Обоснуйте зачем и почему.
Или сообщение во флуд.

+ Пара вопросов:

1й ВОПРОС​

Как правильно указывать папки?
Disallow: /images
или
Disallow: /images/
- посмотрел _hxxp://robotstxt.org.ru/robots.txt - так там по разному написанно - не поймешь

2й ВОПРОС​

Также как правильно писать - яндекс сверху или яндекс снизу?

User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: www.example.com

или

User-agent: Yandex
Disallow: /css/
Host: www.example.com

User-agent: *
Disallow: /css/

Спасибо

 

[acelotuse]

яндекс лучше внизу, а вверху указания для всех роботов в целом. Думаю, особо не принципиально, но все роботс, и все примеры, что я видел были именно так и созданы: общие команды вверху, остальные для каждого бота - ниже.
Кстати, не перегружай особо роботс, если будет больше 32 килобайт кажись, (что-то примерно рядом), то яндекс его проигнорирует. Читал на их же сайте в указаниях к применению роботс.

Папку прописывай /css/ вместе с закрывающим слешем.

 

[blacks]

яндекс лучше внизу, а вверху указания для всех роботов в целом. Думаю, особо не принципиально,

Мне кажется принципиально - просто читал где-то об этом
но так и не смог найти той заметки.
У кого еще есть мнение на этот счет?

Папку прописывай /css/ вместе с закрывающим слешем.

Странно - почему же тогда даже на самом сайте об роботс "закрывающего" слеша нет?