Как правильно создать robots.txt

Тема в разделе "Статьи и Co", создана пользователем Rodin, 23 авг 2011.

  1. Rodin

    Rodin

    Регистр.:
    27 апр 2007
    Сообщения:
    228
    Симпатии:
    166
    1. Для начало создадим в блокноте сам файл robots.txt с таким же именем.
    2. Прописываем в нем следующие:
    User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /index.php?do=register
    Disallow: /index.php?do=lastcomments
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts
    Sitemap: Перейти по ссылке[/b].ru/sitemap.xml
    User-agent: Yandex
    Host: ваш_сайт.ru

    , где ваш_сайт прописываем ваше доменное имя.
    3. И наконец последние, кидаем данный файл в корень вашего сайта. Если не знаете, то туда, где лежит Файл index.

    Данная статья будет нам полезен в исключении дублирующихся страниц, что увеличит шанс не попасть под фильтр АГС.
    Такая фитча подходит к любым движкам сайтов, но данная статья сделана под DataLife Engine.
     
  2. wirtoo

    wirtoo Писатель

    Регистр.:
    6 май 2015
    Сообщения:
    3
    Симпатии:
    0
    На самом деле, уже давно заезженная тема, видел разные примеры этого файла для DLE...
    Не вижу смысла указывать
    Код:
    User-agent: Yandex
    Host: site.com
    для Яндекса отдельно...
    Лично я использую такой:
    Код:
    User-Agent: *
    Disallow: /index.html
    Disallow: /cgi-bin/
    Disallow: /engine/go.php
    Disallow: /engine/download.php
    Disallow: /newposts/
    Disallow: /*subaction=newposts
    Disallow: /*do=addnews
    Disallow: /*do=pm
    
    Allow: /
    Sitemap: http://site.com/sitemap.xml
    Host: site.com
    Еще я встречал вот такой "хардкорный" вариант, для тех, кто отчаянно борится с лишними страницами в индексе:
    Код:
    User-agent: *
    Allow: /uploads/posts/
    Disallow: /rules.html
    Disallow: /index.php*
    Disallow: /index.php?*
    Disallow: /engine/go.php
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /page/
    Disallow: */page/*
    Disallow: /newposts/
    Disallow: /lastnews/
    Disallow: /catalog/
    Disallow: /tags/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /statistics.html
    Disallow: /banners/
    Disallow: /user/
    Disallow: /2012/
    Disallow: /2013/
    Disallow: /2014/
    Disallow: /2015/
    Disallow: /2016/
    Disallow: /2017/
    Disallow: /*action=mobile$
    Disallow: /do=*
    Disallow: /*do=*
    Disallow: /?*
    Disallow: /engine/
    Disallow: /js/
    Disallow: /go.php
    Host: site.com
    Sitemap: http://site.com/sitemap.xml
    Смотрите сами...
     
  3. erigins

    erigins Постоялец

    Регистр.:
    19 сен 2010
    Сообщения:
    80
    Симпатии:
    15
    для wordpress :
    Код:
        User-agent: *
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content/plugins
        Disallow: /wp-content/cache
        Disallow: /wp-content/themes
        Disallow: /trackback
        Disallow: */trackback
        Disallow: */*/trackback
        Disallow: */*/feed/*/
        Disallow: */feed
        Disallow: /*?*
        Disallow: /tag
    
        User-agent: Googlebot
        Allow: /wp-content/themes
        Allow: /wp-includes
        Allow: /wp-content/plugins
        Allow: /wp-content/cache
        Allow: /cgi-bin
        Allow: /wp-admin
           
        User-agent: Yandex
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content/plugins
        Disallow: /wp-content/cache
        Disallow: /wp-content/themes
        Disallow: /trackback
        Disallow: */trackback
        Disallow: */*/trackback
        Disallow: */*/feed/*/
        Disallow: */feed
        Disallow: /*?*
        Disallow: /tag
        Host: site.ru
        Sitemap: http://site.ru/sitemap.xml.gz
        Sitemap: http://site.ru/sitemap.xml
     
  4. wirtoo

    wirtoo Писатель

    Регистр.:
    6 май 2015
    Сообщения:
    3
    Симпатии:
    0
    А кстате, зачем отдельно для Яндекса дублировать? Постоянно наблюдаю такие рекомендации, но так и не понял, почему?
     
  5. erigins

    erigins Постоялец

    Регистр.:
    19 сен 2010
    Сообщения:
    80
    Симпатии:
    15
    Фильтры яндекса и Дублирующий контент.. скрываем все дубли...
    А для google - открыто, т.к. ПС проверяет шаблон на адаптивность - в тесте Перейти по ссылке
    ну и ругается если закрыто.
     
  6. wirtoo

    wirtoo Писатель

    Регистр.:
    6 май 2015
    Сообщения:
    3
    Симпатии:
    0
    А, вот оно что. Есть еще информация (желательно официальная от гугла или яндекса) на эту тему? Читал рекомендации Яндекса по оптимизации - одна вода, мол уникальный контент и сайт для людей, бла бла бла...
     
  7. erigins

    erigins Постоялец

    Регистр.:
    19 сен 2010
    Сообщения:
    80
    Симпатии:
    15
    Перейти по ссылке

    1. More mobile-friendly websites in search results

    Starting April 21, we will be expanding our use of mobile-friendliness as a ranking signal. This change will affect mobile searches in all languages worldwide and will have a significant impact in our search results. Consequently, users will find it easier to get relevant, high quality search results that are optimized for their devices.

    To get help with making a mobile-friendly site, check out our guide to mobile-friendly sites. If you’re a webmaster, you can get ready for this change by using the following tools to see how Googlebot views your pages:

    If you want to test a few pages, you can use the Mobile-Friendly Test.
    If you have a site, you can use your Webmaster Tools account to get a full list of mobile usability issues across your site using the Mobile Usability Report.

    2. More relevant app content in search results

    Starting today, we will begin to use information from indexed apps as a factor in ranking for signed-in users who have the app installed. As a result, we may now surface content from indexed apps more prominently in search. To find out how to implement App Indexing, which allows us to surface this information in search results, have a look at our step-by-step guide on the developer site.


    По Яндексу - через пол года думаю тоже будут в выдаче адаптивные сайты поднимать
     
  8. Mikhalich

    Mikhalich Создатель

    Регистр.:
    3 фев 2009
    Сообщения:
    47
    Симпатии:
    0
    а если надо несколько файлов sitemap.xml указать, как быть в таком случае? просто записывать их в robots.txt?
     
  9. Razminka

    Razminka Постоялец

    Регистр.:
    12 мар 2009
    Сообщения:
    83
    Симпатии:
    30
    Нет, надо создать индексный sitemap, в нем внести данные об остальных sitemap и о нем же написать в роботсе.
    Перейти по ссылке
     
    Mikhalich нравится это.