Примерный вариант robots.txt для форума.

[Hermes_r]

Люди помогите. кто нибудь писал robots.txt для форумов. На что стоит обратить внимание, чтобы индексация была более эффективно. Расскажите о подводных камнях.

Спасибо.

 

[BBnics]

могу рассказать про движок phpbb3 - там если ставить чпу (ссылочку на мод могу потом подкинуть), то сразу есть образец для файла роботс.тхт - т.е. там надо закрывать страницы с регистрации, прочим хламом, а также страницы "версии для печати", чтобы у вас не было дублей. Что закрывать это одинаково для всех форумом - только надо смотреть какие у вас там ссылки и покурить форум движка.

 

[rsrd]

Люди помогите. кто нибудь писал robots.txt для форумов. На что стоит обратить внимание, чтобы индексация была более эффективно. Расскажите о подводных камнях.

Спасибо.

Для каждого движка нужен разный robots.txt.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[goldyman]

У меня стоит форум SMF. Вначале я сам пытался написать более-менее нормальный роботс, но после каждого апдейта всплывали новые дубли. Закрываю страницы для печати - всплывают wap-страницы, закрываю wap - еще какая-нибудь пакость лезет. Выход нашел на форуме поддержки, там уже более года пользователи во главе с модером сами решают этот вопрос.

 

[Dozor2]

Конкретный роботс конечно от движка зависит.
Если проект белый закрывай от индексации все не контентные страницы (профиля пользователей, списки пользователей, поиск, регистрацию и т д).

У меня для VBulletin на данный момент такой роботс:

User-agent: *

Disallow: /forum/faq.php
Disallow: /forum/register.php
Disallow: /forum/calendar.php
Disallow: /forum/search.php
Disallow: /forum/memberlist.php
Disallow: /forum/online.php
Disallow: /forum/archive/
Disallow: /forum/member.php
Disallow: /forum/tags.php

Host: мой сайт

но после аппа выдачи наверно еще надо будет запрещать некоторые страницы, просто лень было всё проссматривать)

 

[alseman]

Я к дефолтному роботсу phpbb 2 дописал только запрет индексации профилей пользователей, а то понатыкают там ссылок всяких..

 

[extrimportal]

Люди помогите. кто нибудь писал robots.txt для форумов. На что стоит обратить внимание, чтобы индексация была более эффективно. Расскажите о подводных камнях.

Спасибо.

ТС вы бы хоть написали какой форум, версию и т.д. Здесь экстрасенсов нет. По крайней мере я не встречал

 

[Blaster]

У меня вот такие robots.txt на форумах висят.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.