Вопрос по robots.txt

Статус
В этой теме нельзя размещать новые ответы.

mixxxon

Создатель
Регистрация
6 Янв 2009
Сообщения
10
Реакции
1
В общем такой вопрос, у меня на забугорном хостинге в папке public_html лежат какие-то левые папки типа "_vti_txt", "_vti_pvt", "_vti_log" и т.п. В общем можно ли их оттуда удалить и если нет, то нужно ли их закрывать от ПС в файле robots.txt и как примерно robots.txt должен выглядеть?
 
  • Заблокирован
  • #2
Это frontpage, по идее можно сайт деплоить прямо из visual studio
Для robots.txt
Код:
# Ignore FrontPage files
User-agent: *
Disallow: /_borders
Disallow: /_derived
Disallow: /_fpclass
Disallow: /_overlay
Disallow: /_private
Disallow: /_themes
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_map
Disallow: /_vti_pvt
Disallow: /_vti_txt
 
Спасибо. У меня в этой же папке WP стоит. Frontpage это какой-то конструктор получается, и можно все эти файлы спокойно удалять?
 
  • Заблокирован
  • #4
Спасибо. У меня в этой же папке WP стоит. Frontpage это какой-то конструктор получается, и можно все эти файлы спокойно удалять?
Я так понимаю у тебя cPanel на буржуйском хостинге, как правило каждый сам решает я например удалял)) На работу моего сайта это никак не повлияло так и на администратирование
 
В общем такой вопрос, у меня на забугорном хостинге в папке public_html лежат какие-то левые папки типа "_vti_txt", "_vti_pvt", "_vti_log" и т.п. В общем можно ли их оттуда удалить и если нет, то нужно ли их закрывать от ПС в файле robots.txt и как примерно robots.txt должен выглядеть?

Так запретить можно:
User-agent: *
Disallow: /_vti_

Или так:
User-agent: *
Disallow: /_
 
Я так понимаю у тебя cPanel на буржуйском хостинге
Да, у меня justhost, помню что какие-то сайтбилдеры запускал в cpanel после регистрации, могли ли из-за них эти файлы появится?
_sergey_, Да, именно так как на сайте под хайдом, можно удалять эти файлы? А последний способ закрытия от индексации в роботс.тхт точно поможет? Он просто как раз наименее трудоёмкий :)
 
Да, у меня justhost, помню что какие-то сайтбилдеры запускал в cpanel после регистрации, могли ли из-за них эти файлы появится?
_sergey_, Да, именно так как на сайте под хайдом, можно удалять эти файлы? А последний способ закрытия от индексации в роботс.тхт точно поможет? Он просто как раз наименее трудоёмкий :)
 
Хочу вывесить на сайте запрет Disallow: /*page/
Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.
 
Хочу вывесить на сайте запрет Disallow: /*page/
Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.
Не будет. Но их можно разрешить с помощью allow, либо изменить адреса тех страниц, что идут после пэйдж.
 
  • Заблокирован
  • #10
Хочу вывесить на сайте запрет Disallow: /*page/
Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.
Внешних ссылок добавить на нужные страницы... не?
в сайтмап записать их?
Просто добавить в адурилку... или хотя бы пропинговать.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху