Примерный вариант robots.txt для форума.

Тема в разделе "Вопросы новичков", создана пользователем Hermes_r, 21 июл 2009.

Статус темы:
Закрыта.
  1. Hermes_r

    Hermes_r Постоялец

    Регистр.:
    27 июн 2009
    Сообщения:
    137
    Симпатии:
    62
    Люди помогите. кто нибудь писал robots.txt для форумов. На что стоит обратить внимание, чтобы индексация была более эффективно. Расскажите о подводных камнях.

    Спасибо.
     
  2. BBnics

    BBnics Читатель

    Заблокирован
    Регистр.:
    28 мар 2008
    Сообщения:
    490
    Симпатии:
    109
    могу рассказать про движок phpbb3 - там если ставить чпу (ссылочку на мод могу потом подкинуть), то сразу есть образец для файла роботс.тхт - т.е. там надо закрывать страницы с регистрации, прочим хламом, а также страницы "версии для печати", чтобы у вас не было дублей. Что закрывать это одинаково для всех форумом - только надо смотреть какие у вас там ссылки и покурить форум движка.
     
  3. rsrd

    rsrd

    Регистр.:
    21 апр 2007
    Сообщения:
    375
    Симпатии:
    34
    Для каждого движка нужен разный robots.txt.

    Например, для смф я юзаю такой:
    User-agent: *
    Crawl-delay: 30
    Disallow: /attachments/
    Disallow: /avatars/
    Disallow: /Packages/
    Disallow: /Smileys/
    Disallow: /Sources/
    Disallow: /Themes/
    Disallow: /index.php?action=profile;
    Disallow: /index.php?action=profile
    Disallow: /index.php?action=post;
    Disallow: /index.php?action=post
    Disallow: /index.php?action=search;
    Disallow: /index.php?action=search
    Disallow: /index.php?action=search2;
    Disallow: /index.php?action=search2
    Disallow: /index.php?action=mlist;
    Disallow: /index.php?action=admin;
    Disallow: /index.php?action=admin
    Disallow: /index.php?action=pm;
    Disallow: /index.php?action=pm
    Disallow: /index.php?action=sendtopic;
    Disallow: /index.php?action=sendtopic
    Disallow: /index.php?action=markasread;
    Disallow: /index.php?action=markasread
    Disallow: /index.php?action=notify;
    Disallow: /index.php?action=notify
    Disallow: /index.php?action=stats;
    Disallow: /index.php?action=stats
    Disallow: /index.php?action=recent;
    Disallow: /index.php?action=recent
    Disallow: /index.php?action=mergetopics;
    Disallow: /index.php?action=mergetopics
    Disallow: /index.php?action=mlist
    Disallow: /index.php?action=register
    Disallow: /index.php?action=reporttm;
    Disallow: /index.php?action=reminder
    Disallow: /index.php?action=verificationcode;
    Disallow: /index.php?action=verificationcode
    Disallow: /index.php?action=activate;
    Disallow: /index.php?action=activate
    Disallow: /index.php?action=help;
    Disallow: /index.php?action=help
    Disallow: /index.php?struct=on&data=on&action=dumpdb
    Disallow: /search.html
    Disallow: /search2.html
    Disallow: /recent.html
    Disallow: /login.html
    Disallow: /stats.html
    Disallow: /users.html
    Disallow: /help.html
    Disallow: /profile.html
    Disallow: /register.html
     
  4. goldyman

    goldyman

    Регистр.:
    6 мар 2008
    Сообщения:
    177
    Симпатии:
    29
    У меня стоит форум SMF. Вначале я сам пытался написать более-менее нормальный роботс, но после каждого апдейта всплывали новые дубли. Закрываю страницы для печати - всплывают wap-страницы, закрываю wap - еще какая-нибудь пакость лезет. Выход нашел на форуме поддержки, там уже более года пользователи во главе с модером сами решают этот вопрос.
     
  5. Dozor2

    Dozor2

    Регистр.:
    18 дек 2007
    Сообщения:
    328
    Симпатии:
    155
    Конкретный роботс конечно от движка зависит.
    Если проект белый закрывай от индексации все не контентные страницы (профиля пользователей, списки пользователей, поиск, регистрацию и т д).

    У меня для VBulletin на данный момент такой роботс:
    но после аппа выдачи наверно еще надо будет запрещать некоторые страницы, просто лень было всё проссматривать)
     
  6. alseman

    alseman

    Регистр.:
    21 май 2008
    Сообщения:
    190
    Симпатии:
    25
    Я к дефолтному роботсу phpbb 2 дописал только запрет индексации профилей пользователей, а то понатыкают там ссылок всяких..
     
  7. extrimportal

    extrimportal

    Регистр.:
    28 ноя 2008
    Сообщения:
    540
    Симпатии:
    70
    ТС вы бы хоть написали какой форум, версию и т.д. Здесь экстрасенсов нет. По крайней мере я не встречал :D
     
  8. Blaster

    Blaster Постоялец

    Регистр.:
    14 ноя 2006
    Сообщения:
    73
    Симпатии:
    24
    У меня вот такие robots.txt на форумах висят.

    Для форума IPB
    Код:
    User-agent: *
    Disallow: /*?
    Disallow: /lofiversion
    Disallow: /ipb.html
    Disallow: /user
    Disallow: /index.php
    Disallow: /main.html
    Disallow: /rss_ipb.php
    Disallow: /ptopic
    Host: site.ru
    Для форума Vbulletin
    Код:
    User-agent: *
    Disallow: /usercp.php
    Disallow: /misc.php
    Disallow: /online.php
    Disallow: /report.php
    Disallow: /postings.php
    Disallow: /private.php
    Disallow: /sendtofriend.php
    Disallow: /register.php
    Disallow: /newthread.php
    Disallow: /newreply.php
    Disallow: /editpost.php
    Disallow: /warn.php
    Disallow: /search.php
    Disallow: /search_forum.php
    Host: site.ru
     
Статус темы:
Закрыта.