Инфо Идеальный robots.txt для DLE

Тема в разделе "DLE", создана пользователем darmoid, 15 апр 2010.

Информация :
Актуальная версия DataLife Engine 12.0
( Final Release v.12.0 | Скачать DataLife Engine | Скачать 12.0 demo )
Нужно ли обновляться | Как обновиться | Изменения в шаблонах
> Нет русских символов <
[Приватная тема DLE (Все подробности в ЛС к модератору раздела)]

Версии 11.3 и ниже - уязвимы!

Локализации | F.A.Q. | Внешний вид
Правила раздела | Правила форума
Обсуждение хайда карается баном!
В каждом сообщении указывайте версию DLE, которого они касаются!
Статус темы:
Закрыта.
Модераторы: killoff
  1. darmoid

    darmoid Киллер

    Регистр.:
    9 мар 2007
    Сообщения:
    375
    Симпатии:
    115
    И для этой цмс тоже интересует идеальный роботс.тхт
    Мой вариант:
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /katalog_sajtov.html
    Disallow: /index.php?do=register
    Disallow: /index.php?do=lastcomments
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Sitemap: http://expertinternet.ru/sitemap.xml
    User-agent: Yandex
    Host: expertinternet.ru
    
     
  2. yavasilek

    yavasilek vasilek_gorbunok

    Регистр.:
    5 окт 2008
    Сообщения:
    1.174
    Симпатии:
    424
    я вот ссылки к примеру продаю и мне не очень интересно закрывать такие ссылки как /user/ и /*print ... пусть и выпадают, зато их много и страницы для печати яша кушает с большим аппетитом.
     
  3. nohc

    nohc Создатель

    Регистр.:
    29 июн 2009
    Сообщения:
    18
    Симпатии:
    0
    Что неправильно? Ссылки я не продаю.

    PS. Как вставить код?
     
  4. diabl

    diabl Боцман

    Регистр.:
    24 мар 2009
    Сообщения:
    439
    Симпатии:
    156
    Создаёшь файл роботс.тхт записываешь всё это туда, а потом в корень сайта кидаешь
     
  5. acelotuse

    acelotuse

    Регистр.:
    31 мар 2009
    Сообщения:
    312
    Симпатии:
    37
    сто раз же обсуждалось уже.
    Поисковый робот не регистрируется на сайтах, следовательно, ведет себя как гость, а у гостей не бывает доступа к персональным сообщениям, следовательно, строка
    Disallow: /index.php?do=pm
    не нужна совершенно.
    Далее, какой смысл указывать admin.php и autobackup.php если эти файлы необходимо переименовать, и ссылок к ним на сайте не бывает? Робот не найдет ссылки на эти файлы, а значит, не сможет их индексировать. Вы хотите, чтобы злоумышленники знали какие у вас названия этих файлов? Убирайте:
    Disallow: /autobackup.php
    Disallow: /admin.php
    Далее. Все нижеследующее:
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    даже если робот и проиндексирует, то ничего страшного не произойдет. На фоне тысячи страниц с контентом эти одиночные страницы погоды не сделают.
    Далее
    Disallow: /index.php?do=lastcomments
    Индексация комментов настраивается в админке. Там можно запретить индексацию или разрешить. Так что в роботсе эта функция только дублирует движок.
    Из всего я бы оставил
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /index.php?subaction=newposts
    И то, print на любителя, может кому и захочется оставить. Как видно из поста выше, кому-то и user закрывать не нужно.
    В папку backup никто не сможет залезть, только из админки, так что роботы итак не смогут ее проиндексировать.
    Так что, не тратьте зря время, думайте перед тем как создавать файл роботс. Ведь некоторые папки, которые вы указываете, роботы попросту не видят.
    Вообще, по большому счету, лучше всего использовать роботс для настройки времени загрузки страниц роботами. crawl-delay кажется. И для блокирования определенных категорий с контентом для вашего сайта.
    Все ИМХО. Вы делайте так, как Вам этого хочется.
     
  6. MaximMax

    MaximMax

    Регистр.:
    14 май 2009
    Сообщения:
    595
    Симпатии:
    76
    Если делать СДЛ робот.тхт обязательно надо настраивать чтобы мусор не индексировался если для продажи ссылок то робот.тхт вообще трогать не надо.
    К примеру у меня на принтах на данный момент куплено 10 ссылок не много но копеечка течет.
     
  7. yavasilek

    yavasilek vasilek_gorbunok

    Регистр.:
    5 окт 2008
    Сообщения:
    1.174
    Симпатии:
    424
    а у меня на принтах процентов 70 ссылочной массы.
    Идеального роботс - нет.ИМХО.
     
  8. darmoid

    darmoid Киллер

    Регистр.:
    9 мар 2007
    Сообщения:
    375
    Симпатии:
    115
    Ладно тогда давайте создадим идеальный роботс.тхт для сайтов СДЛ и для сателлитов и сайтов по продаже ссылок. Думаю все сайты можно грубо поделить на эти две категории.
     
  9. Christmasnet

    Christmasnet

    Регистр.:
    20 окт 2008
    Сообщения:
    151
    Симпатии:
    54
    Вот вроде универсальный
     
  10. BKK

    BKK

    Регистр.:
    21 окт 2009
    Сообщения:
    161
    Симпатии:
    45
    зачем плодить темы??))) уже 100 раз обсуждалось
     
    Antares и darmoid нравится это.
Статус темы:
Закрыта.