1. Важное и срочное обновление IPB 3.4.5 - https://nulled.cc/threads/243375/

[Помощь] robots.txt для IPB 3.*

Тема в разделе "IPB", создана пользователем KveSteR, 16 окт 2009.

Статус темы:
Закрыта.
Модераторы: Maybe
  1. KveSteR

    KveSteR Постоялец

    Регистр.:
    19 апр 2007
    Сообщения:
    70
    Симпатии:
    5
    В связи с вводом новых методов фильтров от Яши, и избегания дублирования контента, а так же не нужного мусора. Предлагаю всем вместе создать оптимальный robots.txt для тройки.
    Такой робот мы видим в дистрибьютиве, но он не савсем подходит для яши. так как там немного отличается "стандарт".
    Вот такой сейчас у меня на рабочем форуме:
    /journal* и /lofiversion* старые утрянные страницы.
    /calendar*, /user*, /index.php?app=calendar* закрывают от индексации профили и календарь.
    index.php?app=members&module=messaging взял из стандартного, судя по всему, что бы боты не пытались отправлять сообщения :)
    Disallow: /index.php?app=members&module=chat чат, которого нет
    Disallow: /index.php?app=members&module=search закрывает от индексации любые действия с поиском
    index.php?app=members&module=search&do=active активные пользователи...
    /index.php?app=core&module=global&section=rss* расс летны... их яша вообще не понимает.
    /index.php?app=forums&module=extras&section=stats* сдесь поисковики какимто образом находили страницы.. кто отвечал в теме.. судя по всему недоделаная функция разработчиков.


    Теперь далее, хотелось бы такой robotx.txt, в котром кроме тем и главной страницы и страниц с списком тем, более ничего не индексировалось.
     
    кот-обормот нравится это.
  2. Maskad

    Maskad

    Заблокирован
    Регистр.:
    29 апр 2009
    Сообщения:
    727
    Симпатии:
    109
    Еще такое я добавил:
    /forums/index.php/topic/*page__st__10__p__*&
     
  3. akiselev

    akiselev Создатель

    Регистр.:
    21 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    Тоже извращался поначалу с роботсом, но на 2.х пришел в результате к такому:
    Disallow: /lofiversion/

    И все). Дубли основные в лоуфай - его и запрещаем.
     
  4. Дизуля

    Дизуля

    Регистр.:
    20 июн 2009
    Сообщения:
    176
    Симпатии:
    18
    я давно с ним заморачивалась, и поняла что вообще толку от него нету
     
  5. akiselev

    akiselev Создатель

    Регистр.:
    21 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    Толк то есть), просто надо понять зачем его ставить на форум). Если вам нужны посетители с поисковых машин, то чем больше в индексе страниц, тем их больше. А вот продвижение форума отдельный вопрос). Мне понравилось как сделали наконец-то в ипб 3.х в скине облегченном.
     
  6. KveSteR

    KveSteR Постоялец

    Регистр.:
    19 апр 2007
    Сообщения:
    70
    Симпатии:
    5
    Не сказал бы, что толку нету. раньше у меня его тоже вообще небыло.. сейчас к сожалению у Ящи работает "АГС-17", очень злая штука.. и без нормального роботса, есть большой риск попасть в фильтры яши.

    2Maskad
    Поидее правильно будет так..
    Disallow: /*p__*

    Но не уверен, надо помощь специалиста по сео )) просто не знаю как правильно написать, что бы он такю /page__st__10__p__24353
    Считал этой(было для него тож самое) /*page__st__10

    Так бы поидее быстрей индексировалось и т.д.
     
  7. akiselev

    akiselev Создатель

    Регистр.:
    21 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    АГС-17 пока выключили). Есть реальные примеры форумов ipb, которые пострадали от этого фильтра? Мой прекрасно себя чувствует, на нем роботс как я писал выше.
     
  8. Maskad

    Maskad

    Заблокирован
    Регистр.:
    29 апр 2009
    Сообщения:
    727
    Симпатии:
    109
    может и правильней я роботс обычно не составляю сам - я исходил из ошибок в панеле вебмастера яндеска - даже при такой записи аналогичные ссылки были запрещены хоть 40 хоть 500 вместо 10.
    только что проверил ошибки - (недавно обновил до 3.03) так вот после обновления до 3.03 движок такие ссылки не создает.
    следовательно можно не прописывать.
    но если испольуете ЧПУ(например у меня на форуме ссылки вида -
    тогда добавляем в роботс:
     
  9. KveSteR

    KveSteR Постоялец

    Регистр.:
    19 апр 2007
    Сообщения:
    70
    Симпатии:
    5
    2akiselev тема. немного ниже. Называется проблемы с индексацией.. да и плюс всякие сео форумы.
    Если выключили то хорошо, но все равно, зачем что бы лишний мусор индексировался.
     
  10. acelotuse

    acelotuse

    Регистр.:
    31 мар 2009
    Сообщения:
    312
    Симпатии:
    37
    насчет ЧПУ. Если закрывать страницу от роботов в виде ЧПУ, то нужно закрывать страницу с адресом НЕЧПУ? робот понимает что это одна и та же страница?
     
Статус темы:
Закрыта.