Robots.txt - есть или нет? :)

Тема в разделе "Зарубежные поисковики", создана пользователем masterfaster, 19 апр 2008.

Статус темы:
Закрыта.
  1. masterfaster

    masterfaster Постоялец

    Регистр.:
    24 мар 2008
    Сообщения:
    109
    Симпатии:
    8
    robots.txt: да или нет?

    Ща впервые озадалчися значением этого файла.

    На серваке его нету. Хотя у меня сервак еще странный (амхост). Допустим хтаксес по фтп у меня не видно, только через файлменеджер с админки. Но роботсов не видно ни так, ни так. + по 404 статсам он в лидерах :D

    Но, этого топика никогда бы не было, если бы мой роботс не показала мне гугля.

    Ща вопрос как быть - рыться в нэте, искать правила оформления роботсов (кстати, если кто знает - бросьте в меня, плс :thenks:) или забить пусть гугля сама себя удовлетворяет?

    Пока склоняюсь к первому.

    Добавлено через 6 минут
    Ща начал копаться в роботсе который держит гугля.

    Оказалось шо эта красавица перевела последний пост моего ВП блога в хтмл и записала его в роботс.тхт.

    Еще один жирный аргумент чтобы основательно разобраться что и как?
     
  2. olllg

    olllg

    Регистр.:
    17 фев 2007
    Сообщения:
    303
    Симпатии:
    141
    robots.txt – мал файл, да удал… В примерах и без (для начинающих)
    Для начала скажем что такое на самом деле robots.txt, вернее спросим это у моего любимого моего поисковика
    и далее вот здесь http://myseolife.blogspot.com/2007/05/robotstxt.html
     
  3. masterfaster

    masterfaster Постоялец

    Регистр.:
    24 мар 2008
    Сообщения:
    109
    Симпатии:
    8
    Да спасибо, помогла.

    Кстати, считаю что тему надо переименовать на robots.txt: да или нет?
     
  4. RxB

    RxB

    Заблокирован
    Регистр.:
    16 июл 2007
    Сообщения:
    236
    Симпатии:
    51
    В статсах у тебя robots.txt на первых местах, потому что большая часть поисковых ботов первым делом запрашивают robots.txt с сервера. А если он отсутствует как класс, т.е сервер отсылает боту 404 ошибку, то бот может сделать предположение о недоступности сайта
     
  5. masterfaster

    masterfaster Постоялец

    Регистр.:
    24 мар 2008
    Сообщения:
    109
    Симпатии:
    8
    Я бы не сказал. Вот что по этому поводу говорит гугля:

    по моему тут все однозначно и понятно
     
  6. masterfaster

    masterfaster Постоялец

    Регистр.:
    24 мар 2008
    Сообщения:
    109
    Симпатии:
    8
    Кстати, такой еще вопрос. если файл роботс.тхт отсутствует. на 404 включен редайрект на главную. как я понял гугля под роботс.тхт держит мою главную. в связи с этим проблем не будет?
     
  7. sound

    sound

    Регистр.:
    11 окт 2007
    Сообщения:
    222
    Симпатии:
    159
    Даный файл полезен во многих случаях и так же во многих случаях не обязателен. У меня 4 сателлита нормально работают и индексируются и без него.
     
  8. Deformat

    Deformat Писатель

    Регистр.:
    25 июн 2007
    Сообщения:
    8
    Симпатии:
    1
    Не будет никаких проблем :) На этот файл многие поисковики кладут даже если он есть :D
     
  9. BBnics

    BBnics Читатель

    Заблокирован
    Регистр.:
    28 мар 2008
    Сообщения:
    490
    Симпатии:
    109
    Вроде на блоге Гринвуда (мож и ошибаюсь) была экспериментальная статистика: какой-то человечек пропасил очень много ресурсов с Dmozа на наличие сего файла robots.txt и выяснилось, что только лишь у 20% сайтов есть сей файл (точно не помню, но что-то вроде этого). Вообщем, кто понимает о каком эксперименте говорю, можете подкинуть ссылочку, т.к. я не могу найти линку, а народ не хочеться дезинформировать, да и сам освежил бы в памяти.
     
  10. anigmi

    anigmi Постоялец

    Регистр.:
    8 мар 2008
    Сообщения:
    118
    Симпатии:
    19
    Конечно нужен )
    Его не так уж и трудно написать !
    Полазь по сайтах полезную инфу найдеш ! ))))
     
Статус темы:
Закрыта.