Помощь Как правильно настроить robots.txt и .htaccess?

[fridrix10]

Есть ли у нас сео оптимизаторы на форуме? Как правильно настроить robots.txt и .htaccess чтобы не было дублей?
Заранее спасибо за ответ!

 

[fumofuuu]

как то так

robots.txt

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://domen.ru/sitemap.xml
Host: domen.ru

а для htaccess в интернете валяется много много всякий оптимизаций

 

[Slavutich]

хм..в движке 9.5, по у молчанию, уже нормальные robots.txt и htaccess
ниче городить не нужно. а по поводу дублей все хороши расжевано на форуме разработчика.

 

[Marko]

Если я вместо построчного перечисления напишу Disallow: /index.php?do=* это будет ошибкой, или нормально?

 

[killoff]

Если я вместо построчного перечисления напишу Disallow: /index.php?do=* это будет ошибкой, или нормально?

Можно и без звездочки на конце прописать, все будет нормально. Я так и делаю чтобы не городить robots.txt
Также стоит добавить Disallow: /?do= потому что это аналог без index.php, и все нужные страницы также доступны по этому адресу.

fumofuuu, ну рассмешил

Disallow: /backup/ - если ссылок нигде на сайте не давать - боты итак не увидят папку эту.
Disallow: /language/ - аналогично.
Disallow: /templates/ - отельно файлы шаблона не открываются, а значит что прописывать эту строку не обязательно.
Disallow: /upgrade/ - эту папку вообще после обновления или установки движка рекомендуется удалять, а если ее нет - то и прописывать ее не нужно.
Disallow: /uploads/ - если картинки нужно чтобы индексировались или документы какие-то - не стоит это писать. Я все картинки открываю для индексации, с поиска картинок лишний раз пользователи заходят.
Disallow: /autobackup.php - вообще можешь его переименовать как хочешь, ссылок на сайте не давать - и бот не узнают о файле этом.
Disallow: /admin.php - аналогично. Только с сайта не переходить по ссылке в админку чтобы статистика не узнала о такой странице, а прописывать вообще не обязательно.

PS а htaccess то как нормально прописывать? Он написан т.к. это надо движку, если что то в нем править - править в исходниках движка уже надо будет...

 

[fumofuuu]

Можно и без звездочки на конце прописать, все будет нормально. Я так и делаю чтобы не городить robots.txt
Также стоит добавить Disallow: /?do= потому что это аналог без index.php, и все нужные страницы также доступны по этому адресу.

fumofuuu, ну рассмешил



PS а htaccess то как нормально прописывать? Он написан т.к. это надо движку, если что то в нем править - править в исходниках движка уже надо будет...

Значит конечный вариант ~так должен выглядеть

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /engine/
Disallow: /index.php?do=
Disallow: /?do=
Disallow: /statistics.html
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Host: domen.ru

 

[Marko]

Или так:

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /engine/
Disallow: /page/
Disallow: /*do=
Disallow: /*?*
Disallow: /*subaction=
Disallow: /tags/$
Disallow: /addnews.html
Disallow: /feedback.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся
Host: domen.ru

Но все ли поисковики такие умные как Google и Яндекс, или возможен ли вариант, что какой-нибудь тупой microskope.bot влезет куда не надо, а Google потом его инфу к себе перепечатает. И не лучше ли будет перечислить все папки и файлы без маски, во избежание так сказать

 

[fumofuuu]

Или так:

Но все ли поисковики такие умные как Google и Яндекс, или возможен ли вариант, что какой-нибудь тупой microskope.bot влезет куда не надо, а Google потом его инфу к себе перепечатает. И не лучше ли будет перечислить все папки и файлы без маски, во избежание так сказать

а зачем вы закрыли теги к индексации ? Disallow: /tags/$

 

[killoff]

а зачем вы закрыли теги к индексации ? Disallow: /tags/$

по сути можно сказать что это тоже дубли также как и архив, закрывать его на усмотрение каждого, но не обязательно. Если все правильно сделать то яша нормально скушает все теги про гугл думаю и говорить не стоит)))

 

[unixrx]

Мой пример:
User-agent: *
Disallow: /engine/
Disallow: /backup/
Disallow: /user/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /admin.php
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*year=
Disallow: /*cstart=
Sitemap: Для просмотра ссылки Войди или Зарегистрируйся

В 9.5 Хоть и есть robots, но на мой взгяд такой будет полнее.
К примеру, если не сделать:
Disallow: /*year= (повторы из календаря)
Disallow: /*cstart= (повторы из номеров страниц)
То будут дубли. Гугл веб-мастер выдает горы повторов.