Запрет индесации сайта (полностью)

Тема в разделе "Вопросы новичков", создана пользователем tofik228, 7 фев 2010.

Статус темы:
Закрыта.
  1. tofik228

    tofik228 Читатель

    Заблокирован
    Регистр.:
    3 июн 2008
    Сообщения:
    651
    Симпатии:
    165
    Ребят, собственно сабж... Хочу для тестов на один домен ставить разные CMS и магазины, но при этом чтобы поисковики вообще не индексировали сайт т.к буду потом сайты переносить уже по рабочим доменам... как можно сделать?
     
  2. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    Так закрой доступ к сайту для всех кроме своих IP/сети.
     
  3. tofik228

    tofik228 Читатель

    Заблокирован
    Регистр.:
    3 июн 2008
    Сообщения:
    651
    Симпатии:
    165
    можно по - подробнее пожалуйста т.е как я понимаю правку делать в .htacces?
     
  4. tank_2

    tank_2 Постоялец

    Регистр.:
    24 апр 2009
    Сообщения:
    55
    Симпатии:
    21
    в корень сайта на хостинге ложим файл robots.txt следующего содержания:

    User-agent : *
    Disallow : /
    Disallow : /images

    первая строка говорит что дальнейшие указания актуальны для всех ПС
    вторая запрещает к индексации все файлы и папки домена
    третья (к примеру дал) запрещает индексацию только папки images в корне сайта.
    Сам файл robots.txt является инструкцией к поведению для ПС, которую они безаговорочно выполняют.
     
    guusr и tofik228 нравится это.
  5. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    order allow deny
    deny from all
    allow from 111.111.111.111 <- твой IP

    Если IP динамический, то можно вместо IP указывать сети.


    PS роботы частенько кладут на robots.txt
     
    tank_2 и tofik228 нравится это.
  6. tofik228

    tofik228 Читатель

    Заблокирован
    Регистр.:
    3 июн 2008
    Сообщения:
    651
    Симпатии:
    165
    спасибо... как я понял это поможет избежать дубля на других доменах и можно смело будет потом переносить сайты на другие домены?
    т.е ваша конструкция используется в htacces или в robots.txt? извиняюсь за глупые вопросы... первый раз хочу использовать запрет т.к не хочется возиться на локале, дабы не столкнуться с проблемами на хосте.

    спасибо PHP Master за последний пост №7 и TANK 2...
     
  7. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    То, что я написал, закроет доступ к сайту всем, кроме указанного IP.
    Текст положить в .htaccess.
     
    tofik228 нравится это.
  8. iskif

    iskif

    Регистр.:
    21 авг 2006
    Сообщения:
    325
    Симпатии:
    35
    Всегда считал, что инструкции выполняются последовательно.
    Т.е., в данном случае, сначала сработает запрет для всех и до разрешения дело не дойдёт. Или порядок значения не имеет?
     
  9. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    Учим матчасть тыц
     
    tofik228 нравится это.
  10. iskif

    iskif

    Регистр.:
    21 авг 2006
    Сообщения:
    325
    Симпатии:
    35
    ну да, я привык просто к использованию Order по умолчанию.
    и, кстати, если верить "матчасти", то Ваш пример не корректен, если вообще работоспособен (проверять лень, спорить не буду) - синтаксис директивы Order подразумевает использование разделителя "запятая" :)

    И Вы почему то совсем забыли упомянуть, что Ваш совет годится только для хостинга на "апаче" и совершенно не применим для web-сервера IIS
     
    PHP_Master нравится это.
Статус темы:
Закрыта.