Вопрос по robots.txt

Тема в разделе "Вопросы новичков", создана пользователем Alekzweb, 10 янв 2013.

Статус темы:
Закрыта.
  1. Alekzweb

    Alekzweb Постоялец

    Регистр.:
    17 июл 2008
    Сообщения:
    87
    Симпатии:
    41
    Как в robots закрыть от индексации все кроме главной?
     
  2. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    826
    Симпатии:
    480
    в зависимости от того, как у вас отдается главная страница, с index.php(html или еще чего) или просто site.ru. если просто site.ru, то
    Код:
    User-agent: *
    Disallow: /*
    
    если с /index, придется писать запреты для всех путей отдельно. при этом следя чтобы ненароком и /index не закрыли
     
  3. Alekzweb

    Alekzweb Постоялец

    Регистр.:
    17 июл 2008
    Сообщения:
    87
    Симпатии:
    41
    Главная отдается и так и так. Я так понимаю лучше оставить открытым к индексации только site.ru

    Код:
    User-agent: *
    Disallow: /*
    
    не работает(
    Разделов много для каждого запрет писать не вариант.
     
  4. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    826
    Симпатии:
    480
    =\
    у яндекса есть директива Allow, можно сделать так
    Код:
    User-agent: *
    Allow: /index.php
    Disallow: /
    тогда будет индексироваться только главная. но гугл такую директиву не поддерживает.

    з.ы.
    @tan_81 провтыкал что и гугл знает эту директиву. благодарю.
     
  5. tan_81

    tan_81 Постоялец

    Регистр.:
    18 окт 2006
    Сообщения:
    128
    Симпатии:
    30
    наоборот директива Allow появилась у гугла значительно раньше Я
    http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449&from=40367&rd=1

    Если ее не использовать

    User-agent: *
    Disallow: /*/
    Disallow: /123.php
    Disallow:

    Disallow: /*/ - закрывает все папки
    Disallow: /123.php - наклонировать и закрыть все отдельные страницы в корне
    Disallow: - открывает все остальное

    При такой схеме получается корень сайта www.site.ru (та же главная) заблокирована
     
    efs нравится это.
  6. Alekzweb

    Alekzweb Постоялец

    Регистр.:
    17 июл 2008
    Сообщения:
    87
    Симпатии:
    41
    тоже не подходит, категори остаются открытыми
    site.ru/kategoriya1.html - открыта
    site.ru/kategoriya1/statya.html - закрыта

    Запрещать каждую категорию не вариант. Их около 100 и они переодически меняются.
    Открытым надо оставить только site.ru Интересует преимущественно под Яндекс.
     
  7. piest

    piest Писатель

    Заблокирован
    Регистр.:
    6 янв 2013
    Сообщения:
    5
    Симпатии:
    0
    А если так:
    User-agent: Yandex
    Allow: /
    Disallow: /*

    Если не сможете найти решение с роботсом, есть вариант запрета - это прописать мета-тег
    <meta content="NOINDEX, NOFOLLOW" name="Robots" />
    на все страницы, кроме главной.
     
  8. Alekzweb

    Alekzweb Постоялец

    Регистр.:
    17 июл 2008
    Сообщения:
    87
    Симпатии:
    41
    так все разрешено

    Сайт на Joomla, как там это прописать? Всетаки с robots было бы предпочтителней (
     
  9. tan_81

    tan_81 Постоялец

    Регистр.:
    18 окт 2006
    Сообщения:
    128
    Симпатии:
    30
    А подумать? =) Все же написано.
    В моем варианте надо было для каждой категории kategoriya1-x.html прописывать запрет (просто как то не совсем логично держать в корне без подпапки много страниц).

    Ну раз много придется все-таки воспользоваться Allow

    User-agent: *
    Disallow: /*/
    Disallow: /*.html
    Allow: /index.html
    Disallow:
     
  10. piest

    piest Писатель

    Заблокирован
    Регистр.:
    6 янв 2013
    Сообщения:
    5
    Симпатии:
    0
    Сделайте в шаблоне сайта в <head>...</head> "php условие", с проверкой - если страница главная то ничего не выводим, иначе <meta content="NOINDEX, NOFOLLOW" name="Robots" />
    Думаю это самый верный способ =)
     
Статус темы:
Закрыта.