Вопрос по robots.txt

Тема в разделе "Вопросы новичков", создана пользователем mixxxon, 6 мар 2011.

Статус темы:
Закрыта.
  1. mixxxon

    mixxxon Создатель

    Регистр.:
    6 янв 2009
    Сообщения:
    11
    Симпатии:
    1
    В общем такой вопрос, у меня на забугорном хостинге в папке public_html лежат какие-то левые папки типа "_vti_txt", "_vti_pvt", "_vti_log" и т.п. В общем можно ли их оттуда удалить и если нет, то нужно ли их закрывать от ПС в файле robots.txt и как примерно robots.txt должен выглядеть?
     
  2. shamantc

    shamantc ЗлОй ШаМан

    Заблокирован
    Регистр.:
    3 ноя 2008
    Сообщения:
    651
    Симпатии:
    183
    Это frontpage, по идее можно сайт деплоить прямо из visual studio
    Для robots.txt
    Код:
    # Ignore FrontPage files
    User-agent: *
    Disallow: /_borders
    Disallow: /_derived
    Disallow: /_fpclass
    Disallow: /_overlay
    Disallow: /_private
    Disallow: /_themes
    Disallow: /_vti_bin
    Disallow: /_vti_cnf
    Disallow: /_vti_log
    Disallow: /_vti_map
    Disallow: /_vti_pvt
    Disallow: /_vti_txt
     
    mixxxon нравится это.
  3. mixxxon

    mixxxon Создатель

    Регистр.:
    6 янв 2009
    Сообщения:
    11
    Симпатии:
    1
    Спасибо. У меня в этой же папке WP стоит. Frontpage это какой-то конструктор получается, и можно все эти файлы спокойно удалять?
     
  4. shamantc

    shamantc ЗлОй ШаМан

    Заблокирован
    Регистр.:
    3 ноя 2008
    Сообщения:
    651
    Симпатии:
    183
    Я так понимаю у тебя cPanel на буржуйском хостинге, как правило каждый сам решает я например удалял)) На работу моего сайта это никак не повлияло так и на администратирование
     
    mixxxon нравится это.
  5. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.746
    Симпатии:
    1.158
    Типа так? Перейти по ссылке
    Так запретить можно:
    Или так:
     
    mixxxon нравится это.
  6. mixxxon

    mixxxon Создатель

    Регистр.:
    6 янв 2009
    Сообщения:
    11
    Симпатии:
    1
    Да, у меня justhost, помню что какие-то сайтбилдеры запускал в cpanel после регистрации, могли ли из-за них эти файлы появится?
    _sergey_, Да, именно так как на сайте под хайдом, можно удалять эти файлы? А последний способ закрытия от индексации в роботс.тхт точно поможет? Он просто как раз наименее трудоёмкий :)
     
  7. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.746
    Симпатии:
    1.158
    Я б удалил, если не уверены задайте вопрос в тех поддержку хостинга. Но удаление не обязательно, вы не одиноки, у рабочих сайтов тоже такое встречается и не мешает. Впрочем ещё как вариант можете настроить 301 редирект с таких урлов на морду. Тогда вообще никто не узнает, что они у вас есть.

    Насчёт роботса, разумеется уверен, я не пишу такие вещи без предварительной проверки на контрольных урлах. Проверку в данном случае делал этим сервисом: Перейти по ссылке
     
    mixxxon нравится это.
  8. Dr.Sheff

    Dr.Sheff

    Регистр.:
    20 ноя 2010
    Сообщения:
    175
    Симпатии:
    26
    Хочу вывесить на сайте запрет Disallow: /*page/
    Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.
     
  9. _sergey_

    _sergey_ Писатель

    Регистр.:
    1 окт 2008
    Сообщения:
    1.746
    Симпатии:
    1.158
    Не будет. Но их можно разрешить с помощью allow, либо изменить адреса тех страниц, что идут после пэйдж.
     
  10. 77RU

    77RU Читатель

    Заблокирован
    Регистр.:
    3 фев 2007
    Сообщения:
    300
    Симпатии:
    150
    Внешних ссылок добавить на нужные страницы... не?
    в сайтмап записать их?
    Просто добавить в адурилку... или хотя бы пропинговать.
     
Статус темы:
Закрыта.