Как закрыть от индексации все страницы?

Тема в разделе "Вопросы новичков", создана пользователем seoalk, 22 май 2008.

Статус темы:
Закрыта.
  1. seoalk

    seoalk Создатель

    Регистр.:
    21 авг 2007
    Сообщения:
    43
    Симпатии:
    4
    Как закрыть от индексации все страницы, кроме морды от гугля? можно какнить прописать в robots.txt без списка всех страниц?
     
  2. BBnics

    BBnics Читатель

    Заблокирован
    Регистр.:
    28 мар 2008
    Сообщения:
    490
    Симпатии:
    109
    http://webartsolutions.com/articles/doklad-robotstxt.html
    ставьте на всех страницах, кроме главной
    <meta name="robots" content="noindex"> или
    <meta name="robots" content="noindex,nofollow">
     
  3. disan

    disan Создатель

    Регистр.:
    2 июл 2007
    Сообщения:
    22
    Симпатии:
    1
    Если все остальные страницы размещены в какой-то директории, то достаточно прописать в robots.txt эту директорию. Например:
    User-agent: *
    Disallow: /cgi-bin/
     
  4. seoalk

    seoalk Создатель

    Регистр.:
    21 авг 2007
    Сообщения:
    43
    Симпатии:
    4
    вот и нету этой директории:( а все страницы - влом, но, походу придется
     
  5. davik

    davik Прохожие

    Для гугла это возможно. Вот пример
    User-agent: Googlebot
    Disallow: /catalog1/
    Allow: /catalog1/moy_file.html

    Подробнее можешь почитать на гугле в панели вебмастера.
     
  6. i-no

    i-no Прохожие

    Гуглбот поддерживает регулярки, так что если в урлах есть например расширения .php, .html или просто какие-то повторяющиеся символы, то закрыть для индексации все страницы кроме главной (не сильно напрягаясь) возможно.

    http://www.google.com/support/webmasters/bin/answer.py?answer=40367

    Пример файла robots.txt:

    User-Agent: Googlebot
    Disallow: /*.php$
    Allow: /index.php
     
  7. seoalk

    seoalk Создатель

    Регистр.:
    21 авг 2007
    Сообщения:
    43
    Симпатии:
    4
    Disallow: /
    Allow: /index1.html
    вот так разрешает domen.com/index1.html
    а если единичку убираешь - нифига не работает
     
  8. i-no

    i-no Прохожие

    Тогда попробуйте в файле .htaccess прописать строчку:

    DirectoryIndex index1.html

    После чего переименовать файл index.html в файл index1.html

    А в robots.txt написать так:

    User-Agent: Googlebot
    Disallow: /*.html$
    Allow: /index1.html

    Хотя не совсем понял, чего не работает?
    Остальные страницы тоже с расширением .html или только титульная?
     
  9. tvsm22

    tvsm22

    Регистр.:
    20 мар 2008
    Сообщения:
    321
    Симпатии:
    54
    но кстати, если на страницы стоят ссылки, то они все равно могут оказаться в индексе..., даже будучи закрытыми через robots.txt
     
  10. werner2

    werner2

    Регистр.:
    22 май 2008
    Сообщения:
    180
    Симпатии:
    10
    Достаточно прописать в robots

    User-agent: *
    Disallow: /
     
Статус темы:
Закрыта.