Сложные вопросы по robots.txt

Тема в разделе "Вопросы новичков", создана пользователем blacks, 16 май 2009.

Статус темы:
Закрыта.
  1. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Почитал урок по работе с robots.txt
    Ссылка: Перейти по ссылке
    (спасибо BBnics)И немного запутался:

    1.
    - как понять эти символы, как они выглядят, как их добавить?
    (работаю в WeBuilder 2008)

    2.
    - но при этом во всех примерах есть пустая строка-разделитель
    для перехода для параметров следующего блока настроек, для
    другого бота

    3.
    в какой кодировке сохранять файл robots.txt? - сейчас сохраняю в UTF-8


    4.
    Код:
    <!--#if expr=" \"${HTTP_HOST}\" != \"www.главное_имя.ru\" " -->
    User-Agent: *
    Disallow: /
    <!--#endif -->
    
    В этом файле роботу запрещен обход всех хостов, кроме
    
    www.главное_имя.ru.
    
    - такой "скрипт" приемлемен для robots.txt ?
    - необходимо чтоб поставить директиву "хост" для яндекса
    - почитал топик на серче но о возможностях работы с SSI в robots.txt так и не понял :nezn:

    Подскажите пожалуйста.
    Спасибо.
     
  2. BBnics

    BBnics Читатель

    Заблокирован
    Регистр.:
    28 мар 2008
    Сообщения:
    490
    Симпатии:
    109
    http://www.google.ru/support/webmasters/bin/answer.py?answer=40360
    Можно использовать любой текстовый редактор. Это должен быть текстовый файл с кодировкой ASCII, а не файл HTML. При вводе названия файла следует использовать нижний регистр.
    Вот сайт, которіе полностью посвещен файлу robots.txt, там же есть и наболее частые ошибки -
    http://robotstxt.org.ru/RobotstxtErrors

    Да и не заморачивайтесь так с этим файлом, у многих сайтов до сих пор нету его. но вот если что-то запретить надо для индекса, то тогда надо сделать его.
    Пользуйтесь норм редактором для редактирования и создания файла роботс, например notepad++.
     
  3. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Ответили только про кодировку. Спасибо ;)

    Представленный вами сайт прочел еще до создания вопроса.
    По остальным вопросам не поможете? :ah:
     
  4. porsche2

    porsche2

    Регистр.:
    18 ноя 2007
    Сообщения:
    667
    Симпатии:
    210
    я попытаюсь быть кратким

    так выглядит robots.txt, доверять источнику можно :)
    http://www.google.ru/robots.txt

    если в robot.txt есть пустая строка, то это не страшно, боты все понимают, пустой строкой разделяют для себя чтобы в глазах не рябило.

    Это SSI, оно вам зачем? Лень что-то писать руками?

    Чтобы это работало, нужно чтобы SSI обрабатывал txt файлы,

    http://design.originweb.info/ssi.html

    Хост для яндекса пишется так:
    Host: site.com
     
    blacks нравится это.
  5. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Спасибо.
    SSI хотел чтоб автоматом хост добавлять... но с другой стороны можно и ручками. С "полуавтоматом" всегда удобней работать. Подумаю над этим
    вопросом.
     
  6. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    591
    Это символы с кодами 10 и 13, они же "\r" и "\n".
    Добавляются нажатием клавиши "Enter" (в какой последовательности, зависит от OS).
     
    blacks нравится это.
  7. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Понял. Специально ничего выводить не нужно. Просто перевод строки при
    помощи кнопки Enter ? :ah:

    (PS: PHP_Master - вы мой спаситель ;))
     
  8. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    591
    Специально вводить надо если файл формируешь программно (хотя можно обойтись и без этого).
    А если руками, то просто нажатие клавиши "Enter".
     
  9. blacks

    blacks

    Регистр.:
    26 сен 2008
    Сообщения:
    391
    Симпатии:
    24
    Блин... :nezn:
    Продолжаю лазить по инету и изучать robots.txt
    Всетаки некоторые делают/советуют делать в кодировке utf-8 !?

    Кстати вот один из примеров-статьи
    Перейти по ссылке

    Пример гугла - utf-8 или utf-8 with BOM

    Перейти по ссылке


    + Вопрос: какой CHMODE лучше поставить файлу robots.txt?
     
  10. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    591
    Имхо по барабану.

    644 - если делаешь файл ручками и заливаешь по FTP.
     
    blacks нравится это.
Статус темы:
Закрыта.