Как исключить из индекса?

Тема в разделе "Русские поисковики", создана пользователем Xack-Root, 10 авг 2010.

Статус темы:
Закрыта.
  1. Xack-Root

    Xack-Root

    Регистр.:
    16 фев 2007
    Сообщения:
    295
    Симпатии:
    67
    Был форум на булке проиндексировался яшей затем по некоторым причинам пришлось снести форум и поставить сайт на дле, но в индексе остались страницы вида сайт.ру/showthread.php?t=18004 как их можно через robots.txt удалить из индекса? Что нужно прописать? Заранее благодарю за ответ.
     
  2. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    ну удалить то ты их не удалишь если ты про это
    просто правильнее было бы поставить 301 первый редирект на страницы содержащие showthread.php это бы означало, что страница окончательно изменила адрес или удалена и пс сама со временем исключит все страницы форума.
    как правильно настроить 301 редирект поищи, там зависит от того какой сервер, поддерживает ли он .htaccess если нет, то редирект можно на php.
    Готовых решений много, если уж будут проблемы, то можно даже к хостеру обратиться, мне с ним всегда помогали, чтобы правильно составить.
     
    Xack-Root нравится это.
  3. Xack-Root

    Xack-Root

    Регистр.:
    16 фев 2007
    Сообщения:
    295
    Симпатии:
    67
    И вот ещё вопрос как на dle исключить из поиска теги? Поговаривают из-за них агс не за горами из-за дубля контента
     
  4. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    исключить просто, чтобы они не индексировались в роботс добавить
    Disallow: /tags/
    и пс просто не будет их индексировать. После в панеле вебмастера, хоть гугла, хоть яндекса, вы сможете посмотреть страницы, которые у вас закрыты в роботс от индексации и теги там также будут.
    Я на своих варезниках также закрываю теги.
     
    Xack-Root нравится это.
  5. Xack-Root

    Xack-Root

    Регистр.:
    16 фев 2007
    Сообщения:
    295
    Симпатии:
    67
    А там же в роботсе надо перед этим сайт прописывать ещё что-то на сколько помню, пришли если не трудно полностью содержимое этого файла.
     
  6. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    примерное содержание, которое я ставлю у себя
    User-agent: *
    Disallow: /user/
    Disallow: /tags/
    Disallow: /cache/
    Disallow: /favorites/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /*print
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /languages/
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Host: site.ru
    Sitemap: site/sitemap.xml

    User-agent: Yandex
    Disallow: /user/
    Disallow: /tags/
    Disallow: /cache/
    Disallow: /favorites/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /*print
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /languages/
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Host: site.ru

    страницы админки и бекапа не ставлю здесь, так как их адреса делаю отличными от стандартных, тем самым не к чему их тут палить. А пс авторизовываться не умеет, так что ей они неподвластны. Также у гугла ставлю ссыль на xml карту, яндексу такая карта не нужна, для него ставлю модуль карты и делаю html карту для яндекса.
     
    Xack-Root нравится это.
  7. swer

    swer

    Регистр.:
    15 июн 2008
    Сообщения:
    308
    Симпатии:
    38
    А зачем дублировать? яндекс отлично понимает
    User-agent: *
     
  8. Lazy_bones

    Lazy_bones

    Регистр.:
    11 дек 2008
    Сообщения:
    436
    Симпатии:
    106
    это просто шаблон, для яши еще добавляю свое в зависимости от настройки и модулей. Бывает также, на сайтах со сложной структурой метки закрываю от всех кроме яндекса, так как яндекс суровее всех к ним может отнестись. В основном опирался на топовые варезники, там сделано аналогично.
     
  9. hoopeer

    hoopeer

    Регистр.:
    10 фев 2007
    Сообщения:
    807
    Симпатии:
    250
    Я считаю, что ОЧЕНЬ важно для поисковиков отдавать в роботсе команды по отдельности для каждого поисковика. Это как если поздороваться с каждым по отдельности или сказать привет один раз для всех. Приятнее по отдельности, как я думаю.

    Сравнил свой роботс и тот, что тут предлагается.

    Я ещё закрываю вот эти разделы от индексации:
    Disallow: /*userinfo
    Disallow: /2009/
    Disallow: /2010/
    Disallow: /2011/
    Disallow: /index.php?do=rules
    Disallow: /index.php?subaction=userinfo
    Disallow: /upgrade/
    Disallow: /*rss
    Disallow: /language/
    Disallow: /go.php*
     
  10. PavelBr

    PavelBr Создатель

    Регистр.:
    11 апр 2007
    Сообщения:
    33
    Симпатии:
    1
    И сюда зайти не забудь:
    http://webmaster.yandex.ru/delurl.xml

    jabbaxatt - Ссылки не забываем убирать под хайд! См. правила.
     
Статус темы:
Закрыта.