Помощь Как правильно настроить robots.txt и .htaccess?

Тема в разделе "DLE", создана пользователем fridrix10, 4 фев 2012.

Информация :
Актуальная версия DataLife Engine 11.2
( Final Release v.11.2 | Скачать DataLife Engine | Скачать 11.2 demo )
Нужно ли обновляться | Как обновиться | Изменения в шаблонах
> Нет русских символов <
[Приватная тема DLE (Все подробности в ЛС к модератору раздела)]

Версии 11.1 и ниже - уязвимы!

Локализации | F.A.Q. | Внешний вид
Правила раздела | Правила форума
Обсуждение хайда карается баном!
В каждом сообщении указывайте версию DLE, которого они касаются!
Модераторы: killoff
  1. fridrix10

    fridrix10 Постоялец

    Регистр.:
    23 май 2009
    Сообщения:
    80
    Симпатии:
    82
    Есть ли у нас сео оптимизаторы на форуме? Как правильно настроить robots.txt и .htaccess чтобы не было дублей?
    Заранее спасибо за ответ!
     
  2. fumofuuu

    fumofuuu

    Регистр.:
    24 сен 2011
    Сообщения:
    279
    Симпатии:
    125
    как то так

    robots.txt
    Код:
    User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Sitemap: http://domen.ru/sitemap.xml
    Host: domen.ru
    а для htaccess в интернете валяется много много всякий оптимизаций
     
  3. Slavutich

    Slavutich Постоялец

    Регистр.:
    29 ноя 2010
    Сообщения:
    122
    Симпатии:
    33
    хм..в движке 9.5, по у молчанию, уже нормальные robots.txt и htaccess
    ниче городить не нужно. а по поводу дублей все хороши расжевано на форуме разработчика.
     
  4. Marko

    Marko Постоялец

    Регистр.:
    3 янв 2012
    Сообщения:
    66
    Симпатии:
    15
    Если я вместо построчного перечисления напишу Disallow: /index.php?do=* это будет ошибкой, или нормально?
     
  5. killoff

    killoff CD тихо, и не DVD меня ;)

    Moderator
    Регистр.:
    13 май 2008
    Сообщения:
    2.101
    Симпатии:
    758
    Можно и без звездочки на конце прописать, все будет нормально. Я так и делаю чтобы не городить robots.txt
    Также стоит добавить Disallow: /?do= потому что это аналог без index.php, и все нужные страницы также доступны по этому адресу.

    fumofuuu, ну рассмешил :D

    PS а htaccess то как нормально прописывать? Он написан т.к. это надо движку, если что то в нем править - править в исходниках движка уже надо будет...
     
  6. fumofuuu

    fumofuuu

    Регистр.:
    24 сен 2011
    Сообщения:
    279
    Симпатии:
    125
    Значит конечный вариант ~так должен выглядеть


     
  7. Marko

    Marko Постоялец

    Регистр.:
    3 янв 2012
    Сообщения:
    66
    Симпатии:
    15
    Или так:
    Но все ли поисковики такие умные как Google и Яндекс, или возможен ли вариант, что какой-нибудь тупой microskope.bot влезет куда не надо, а Google потом его инфу к себе перепечатает. И не лучше ли будет перечислить все папки и файлы без маски, во избежание так сказать :facepalm:
     
  8. fumofuuu

    fumofuuu

    Регистр.:
    24 сен 2011
    Сообщения:
    279
    Симпатии:
    125
    а зачем вы закрыли теги к индексации ? Disallow: /tags/$
     
  9. killoff

    killoff CD тихо, и не DVD меня ;)

    Moderator
    Регистр.:
    13 май 2008
    Сообщения:
    2.101
    Симпатии:
    758
    по сути можно сказать что это тоже дубли также как и архив, закрывать его на усмотрение каждого, но не обязательно. Если все правильно сделать то яша нормально скушает все теги :) про гугл думаю и говорить не стоит)))
     
  10. unixrx

    unixrx Создатель

    Регистр.:
    29 сен 2007
    Сообщения:
    27
    Симпатии:
    2
    Мой пример:
    User-agent: *
    Disallow: /engine/
    Disallow: /backup/
    Disallow: /user/
    Disallow: /newposts/
    Disallow: /favorites/
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /admin.php
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=lastcomments
    Disallow: /*do=feedback
    Disallow: /*do=register
    Disallow: /*do=lostpassword
    Disallow: /*do=addnews
    Disallow: /*do=stats
    Disallow: /*do=pm
    Disallow: /*do=search
    Disallow: /*year=
    Disallow: /*cstart=
    Sitemap: http://сайт.org/uploads/sitemap.xml

    В 9.5 Хоть и есть robots, но на мой взгяд такой будет полнее.
    К примеру, если не сделать:
    Disallow: /*year= (повторы из календаря)
    Disallow: /*cstart= (повторы из номеров страниц)
    То будут дубли. Гугл веб-мастер выдает горы повторов.