Закрыть часть сайта от индексации через .htaccess

Тема в разделе "Вопросы новичков", создана пользователем roland76, 21 фев 2011.

Статус темы:
Закрыта.
  1. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    Всем привет, хочу установить на сайт каталог ссылок, но не хочу, чтобы он проиндексировался Яндексом, Гуглом и иже с ними.

    Допустим, ссылки каталога начинаются с /cat/index.php

    Хочу закрыть его обязательно при помощи .htaccess (robots.txt и noindex, nofollow не предлагать :) )

    Какие инструкции нужно прописать в .htaccess для этого?

    Заранее спасибо
     
  2. egor_bulychev

    egor_bulychev Создатель

    Регистр.:
    27 янв 2007
    Сообщения:
    43
    Симпатии:
    11
    http://habrahabr.ru/blogs/personal/20632/
     
  3. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    Спасибо, но немножко не то, ту статью я читал, там как закрыть весь сайт, мне нужно лишь его часть...
     
  4. egor_bulychev

    egor_bulychev Создатель

    Регистр.:
    27 янв 2007
    Сообщения:
    43
    Симпатии:
    11
    что мешает скинуть .htaccess в нужную папку и закрыть ее?
     
    roland76 нравится это.
  5. DuvE

    DuvE

    Регистр.:
    16 май 2010
    Сообщения:
    510
    Симпатии:
    10
    По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?
     
  6. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    это навряд-ли, .htaccess закрывает доступ к папке на уровне файловой системы, так что вряд-ли Яша сможет туда пролезть
     
  7. CheGevara28

    CheGevara28 Создатель

    Регистр.:
    8 май 2009
    Сообщения:
    13
    Симпатии:
    2
    Лезет и индексирует немножко разные понятия, вы не находите? Если сайт в бане это не значит что боты его не сканирует. Просто его нет в индексе.

    Хочешь в придачу за помойки и за клоакинг залелететь?

    Отфильтровать ботов можно по юзер агенту или по ip адресу.
    RewriteCond %{HTTP_USER_AGENT} Yandex|Google
     
  8. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    Помойку делать не собираюсь, чисто тематические ссылки, цель сделать тематический каталог как здесь:

    http://bezopasnosti.ru/lex/

    Заметь, ни одной страницы этого каталога нету ни в индексе ни яндекса ни гугла, подозреваю что этого добились посредством .htaccess (robots.txt смотрел, с ним все ОК, тегов noindex и аттрибута nofollow тоже не заметил)
    Уверен бан этому сайту не грозит, т.к. в индекс ничего не вошло.

    ---------- Post added at 22:33 ---------- Previous post was at 21:25 ----------

    Вдогонку возник еще один вопрос:

    мой сайт на joomla, url компонента каталога ссылок имеет вид:

    /component/option,com_jvle/Itemid,87/layout,links/view,jvle/

    Сам компонент находится в папке /components/com_jvle/

    я поместил в нее нужный .htaccess, но он не срабатывает.

    Как быть в этом случае? Куда поместить .htaccess и что в нем прописать, чтобы боты не смогли пройти по ссылкам вида

    /component/option,com_jvle/*
     
Статус темы:
Закрыта.