Вопрос по работе User agent

Тема в разделе "Тех. вопросы", создана пользователем UltrbI4, 20 янв 2014.

  1. UltrbI4

    UltrbI4

    Регистр.:
    15 мар 2009
    Сообщения:
    449
    Симпатии:
    53
    Здравствуйте.У меня стоит такой robots.txt
    Код:
    User-agent: * 
    Disallow: /album.php 
    Disallow: /calendar.php
    Disallow: /clientscript/
    Disallow: /converse.php
    Disallow: /cpstyles/
    Disallow: /css.php
    Disallow: /customavatars/
    Disallow: /customgroupicons/
    Disallow: /customprofilepics/
    Disallow: /external.php
    Disallow: /faq.php
    Disallow: /group.php
    Disallow: /includes/ 
    Disallow: /list.php
    Disallow: /list/
    Disallow: /login.php
    Disallow: /memberlist.php 
    Disallow: /misc.php
    Disallow: /newreply.php
    Disallow: /newthread.php
    Disallow: /online.php
    Disallow: /packages/
    Disallow: /printthread.php
    Disallow: /private.php
    Disallow: /profile.php
    Disallow: /register.php
    Disallow: /search.php
    Disallow: /sendmessage.php
    Disallow: /showgroups.php
    Disallow: /signaturepics/
    Disallow: /subscription.php 
    Disallow: /usercp.php
    Disallow: /vb/
    Disallow: /seoOptimize/
       
    User-agent: Googlebot
    Disallow: /album.php 
    Disallow: /calendar.php
    Disallow: /clientscript/
    Disallow: /converse.php
    Disallow: /cpstyles/
    Disallow: /css.php
    Disallow: /customavatars/
    Disallow: /customgroupicons/
    Disallow: /customprofilepics/
    Disallow: /external.php
    Disallow: /faq.php
    Disallow: /group.php
    Disallow: /includes/ 
    Disallow: /list.php
    Disallow: /list/
    Disallow: /login.php
    Disallow: /memberlist.php 
    Disallow: /misc.php
    Disallow: /newreply.php
    Disallow: /newthread.php
    Disallow: /online.php
    Disallow: /packages/
    Disallow: /printthread.php
    Disallow: /private.php
    Disallow: /profile.php
    Disallow: /register.php
    Disallow: /search.php
    Disallow: /sendmessage.php
    Disallow: /showgroups.php
    Disallow: /signaturepics/
    Disallow: /subscription.php
    Disallow: /usercp.php
    Disallow: /vb/
    Disallow: /seoOptimize/
    Disallow: /*do=
    Disallow: /*blogtype=
    Disallow: /*sort=
    Disallow: /*order=
    Disallow: /*mode=
    Disallow: /*goto=
    Disallow: /*m=
    Disallow: /*y=
    Disallow: /*prefixid=
    Disallow: /*p=
    Disallow: /*a=rate
    Disallow: /*viewfull=
     
    User-agent: Yandex
    Disallow: /album.php
    Disallow: /calendar.php
    Disallow: /clientscript/
    Disallow: /converse.php
    Disallow: /cpstyles/
    Disallow: /css.php
    Disallow: /customavatars/
    Disallow: /customgroupicons/
    Disallow: /customprofilepics/
    Disallow: /external.php
    Disallow: /faq.php
    Disallow: /group.php
    Disallow: /includes/ 
    Disallow: /list.php
    Disallow: /list/
    Disallow: /login.php
    Disallow: /memberlist.php 
    Disallow: /misc.php
    Disallow: /newreply.php
    Disallow: /newthread.php
    Disallow: /online.php
    Disallow: /packages/
    Disallow: /printthread.php
    Disallow: /private.php
    Disallow: /profile.php
    Disallow: /register.php
    Disallow: /search.php
    Disallow: /sendmessage.php
    Disallow: /showgroups.php
    Disallow: /signaturepics/
    Disallow: /subscription.php
    Disallow: /usercp.php
    Disallow: /vb/
    Disallow: /seoOptimize/
    Crawl-delay: 1 
    
    Host: мой домен.ru
    
    Sitemap: http://мой домен.ru/sitemap_index.xml.gz

    Для Гугла прописано
    Код:
    Disallow: /*do=
    Disallow: /*blogtype=
    Disallow: /*sort=
    Disallow: /*order=
    Disallow: /*mode=
    Disallow: /*goto=
    Disallow: /*m=
    Disallow: /*y=
    Disallow: /*prefixid=
    Disallow: /*p=
    Disallow: /*a=rate
    Disallow: /*viewfull=

    Это для User-agent: Googlebot

    Но яндекс каким-то образом тоже берет настройки и так же не индексирует указанные параметры для гугла.
    Помогите разобраться!
     
  2. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    826
    Симпатии:
    480
    в секции яндекса, укажите эти правила с директивой allow
     
    UltrbI4 нравится это.
  3. UltrbI4

    UltrbI4

    Регистр.:
    15 мар 2009
    Сообщения:
    449
    Симпатии:
    53
    Спасибо огромное.Раз уж заговорил на эту тему.Хотел бы поинтересоваться у знающих.
    У меня на форуме стоит архив,кто работал с vBulletin наверняка знает.
    Так вот там дублируются темы,созданные в оригинале.
    Тайтлы разбавлются в архиве сниппетом [Архив],достаточно ли этого?
    Мета-описание идет идентичным.Насколько это негативно может сказаться в плане СЕО?
     
  4. Slavonic

    Slavonic Создатель

    Регистр.:
    13 фев 2010
    Сообщения:
    27
    Симпатии:
    4
    Я бы для надёжности закрыл архив в роботсе или прописал rel=canonical
     
    UltrbI4 нравится это.
  5. UltrbI4

    UltrbI4

    Регистр.:
    15 мар 2009
    Сообщения:
    449
    Симпатии:
    53
    Дело в том,что у меня достаточное кол-во ключей НЧ в топе именно на архивные страницы.
    Что если я сделаю 301 редирект?
     
  6. Slavonic

    Slavonic Создатель

    Регистр.:
    13 фев 2010
    Сообщения:
    27
    Симпатии:
    4
    В теории: позиции по этим НЧ упадут на какое-то время, около месяца, потом вернутся, некоторые станут выше.
    Но мало ли поисковик что учудит, поэтому лучше вначале провести эксперимент на небольшом количестве страниц.

    Какой поисковик основной источник трафика?

    ИМХО с rel=canonical будет проще чем редиректить.
     
    UltrbI4 нравится это.
  7. UltrbI4

    UltrbI4

    Регистр.:
    15 мар 2009
    Сообщения:
    449
    Симпатии:
    53
    Дело в том что источник трафа Яндекс=)
     
  8. Slavonic

    Slavonic Создатель

    Регистр.:
    13 фев 2010
    Сообщения:
    27
    Симпатии:
    4
    Яндекс вполне нормально работает с rel=canonical , только ссылки лучше указывать с http://
     
    UltrbI4 нравится это.
  9. UltrbI4

    UltrbI4

    Регистр.:
    15 мар 2009
    Сообщения:
    449
    Симпатии:
    53
    То есть rel=canonical нужно указывать на оригинальной странице и указать в Link дублирующую или я не так понял?
     
  10. esche

    esche

    Регистр.:
    9 авг 2009
    Сообщения:
    360
    Симпатии:
    243
    наоборот. В rel=canonical указывается оригинал
     
    UltrbI4 нравится это.