Помощь Как избавиться от дублей

Тема в разделе "DLE", создана пользователем Anigilator, 10 ноя 2011.

Информация :
Актуальная версия DataLife Engine 11.2
( Final Release v.11.2 | Скачать DataLife Engine | Скачать 11.2 demo )
Нужно ли обновляться | Как обновиться | Изменения в шаблонах
> Нет русских символов <
[Приватная тема DLE (Все подробности в ЛС к модератору раздела)]

Версии 11.1 и ниже - уязвимы!

Локализации | F.A.Q. | Внешний вид
Правила раздела | Правила форума
Обсуждение хайда карается баном!
В каждом сообщении указывайте версию DLE, которого они касаются!
Статус темы:
Закрыта.
Модераторы: killoff
  1. Anigilator

    Anigilator Постоялец

    Регистр.:
    28 дек 2007
    Сообщения:
    76
    Симпатии:
    11
    Здравствуйте.
    В общем, проблема такая. Сейчас в поиске google есть дубли, из-за чего сайт в соплях на половину, что не есть айс:(
    Подскажите пожалуйста, что можно сделать, чтобы убрать их?
    robots на данный момент такой:
    User-agent: *
    Disallow: /backup/
    Disallow: /catalog/
    Disallow: /engine/
    Disallow: /favorites/
    Disallow: /language/
    Disallow: /lastnews/
    Disallow: /newposts/
    Disallow: /tags/$
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /user/
    Disallow: /*print
    Disallow: /*do=pm
    Disallow: /*subaction=userinfo
    Disallow: /*subaction=newposts
    Disallow: /*do=addnews
    Disallow: /*do=lastnews
    Disallow: /*do=lastcomments
    Disallow: /*do=lostpassword
    Disallow: /*do=register
    Disallow: /*do=search
    Disallow: /addnews.html
    Disallow: /statistics.html
    Disallow: /search.html
    Disallow: /rules.html
    User-agent: Yandex
    Disallow:
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml
     
  2. Dr.Sheff

    Dr.Sheff

    Регистр.:
    20 ноя 2010
    Сообщения:
    175
    Симпатии:
    26
    Тут экстрасенсов нет, нужно сайт видеть. А лучше изучайте роботс.тхт самостоятельно эта информация из цикла "должен знать каждый".
     
  3. be_happy

    be_happy Создатель

    Регистр.:
    3 окт 2009
    Сообщения:
    43
    Симпатии:
    1
    а какой смысл выходить из соплей? если у половины белых проектов там 50% и трафа меньше не становится...
     
  4. Anigilator

    Anigilator Постоялец

    Регистр.:
    28 дек 2007
    Сообщения:
    76
    Симпатии:
    11
    Вот ссылка на сайт с тем же шаблоном, что и у меня.
    http://zet-films.ru/
    Дело не просто в том, что сайт в соплях. Дело в том, что он не должен там быть, т.к. все статьи уник на 95%+, тайтлы, дескрипшены и т.д. уник, все тексты (даже стандартные для регистрации) так же уник. Там нечему быть не уникальным.
    Меня смущает то, что в поиске выдаются ЧПУ не человеко-подобные (как я установил в админке), а местами "site.ru/?=35" - типо того.
     
  5. zip111

    zip111 Постоялец

    Регистр.:
    24 июл 2009
    Сообщения:
    139
    Симпатии:
    118
    Для начала удалите дубликаты контента;
    Это сделать в базе данных
    одинаковый title удалит на сайте автор:SeoProger
    ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title) ;
    ALTER TABLE dle_post DROP INDEX titleindex;
    Удаление дублей страниц
    Главная страница любого сайта обычно доступна по 4-ем адресам:
    http://www.site.ru/
    http://site.ru/
    http://www.site.ru/index.html
    http://site.ru/index.html
    Каждый из перечисленных выше вариантов распознается поисковыми системами как самостоятельная страница, отсюда идет дублирование контента одной и той же страницы по нескольким адресам, что не есть хорошо. поэтому, сделаем редирект дублей на ее основной адрес. для этого в файле .htaccess прописываем:
    PHP:
    Options +FollowSymLinks
    RewriteEngine on
    RewriteCond 
    %{HTTP_HOST} ^site.ru
    RewriteRule 
    (.*) http://www.site.ru$1 [R=301,L]
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.htmlHTTP/
    RewriteRule ^index\.htmlhttp://www.site.ru [R=301,L]
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.phpHTTP/
    RewriteRule ^index\.phphttp://www.site.ru [R=301,L]
    Получаем редирект всех страниц-дублей на http://www.site.ru/.
    Можно еще так:
    в .htaccess:
    PHP:
    RewriteEngine On
    RewriteCond 
    %{HTTP_HOST} ^site.ru
    RewriteRule 
    (.*) http://www.site.ru/$1 [R=301,L]
    site.ru, вместо www.site.ru
    в .htaccess:
    HTML:
    RewriteEngine On
    RewriteCond %{HTTP_HOST} ^www.site.ru
    RewriteRule (.*) http://site.ru/$1 [R=301,L]
     
    limoshkaa нравится это.
  6. AkudJEE

    AkudJEE Создатель

    Регистр.:
    16 окт 2011
    Сообщения:
    33
    Симпатии:
    2
    Дублей много в этом движке. Дубли я закрыл роботом. Яндекс с 760 проиндексированных страниц осталось только 420, половина оказалась дублями, да и гугл нашел много дублей. Вот прилагаю свой робот для наглядности:
    User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /engine/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Disallow: /index.php?cstart
    Disallow: /index.php?do=cat&category
    Disallow: /?subaction=userinfo&user
    Disallow: *?subaction=userinfo&user
    Disallow: /addnews.html?subaction=userinfo&user
    Sitemap: http://site.ru/sitemap.xml

    User-agent: Yandex
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /engine/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Disallow: /index.php?cstart
    Disallow: /index.php?do=cat&category
    Disallow: /?subaction=userinfo&user
    Disallow: *?subaction=userinfo&user
    Disallow: /addnews.html?subaction=userinfo&user
    Sitemap: http://site.ru/sitemap.xml
    Host: site.ru
     
  7. yavasilek

    yavasilek vasilek_gorbunok

    Регистр.:
    5 окт 2008
    Сообщения:
    1.178
    Симпатии:
    423
    а в место вот этого
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Disallow: /index.php?cstart
    Disallow: /index.php?do=cat&category
    может легче вот это
    Disallow: /index.php?*
     
  8. AkudJEE

    AkudJEE Создатель

    Регистр.:
    16 окт 2011
    Сообщения:
    33
    Симпатии:
    2
    Ну тогда все новости закроются от индексации, если не включен ЧПУ. Потому что ссылки будут иметь вид http://site.ru/index.php?newsid=XXX
     
  9. yavasilek

    yavasilek vasilek_gorbunok

    Регистр.:
    5 окт 2008
    Сообщения:
    1.178
    Симпатии:
    423
    так а ЧПУ не включен? я подразумеваю, что всегда включен!
     
  10. trooll

    trooll PHP кодер

    Регистр.:
    22 дек 2008
    Сообщения:
    503
    Симпатии:
    116
    Интересная идея. Ты пробовал сам такой вариант? Кто пробовал еще такой вариант отпишитесь что да как, не режут ли ПСы лишнего.
     
Статус темы:
Закрыта.