Закрыть часть сайта от индексации через .htaccess

Статус
В этой теме нельзя размещать новые ответы.

roland76

Постоялец
Регистрация
8 Ноя 2007
Сообщения
124
Реакции
13
Всем привет, хочу установить на сайт каталог ссылок, но не хочу, чтобы он проиндексировался Яндексом, Гуглом и иже с ними.

Допустим, ссылки каталога начинаются с /cat/index.php

Хочу закрыть его обязательно при помощи .htaccess (robots.txt и noindex, nofollow не предлагать :) )

Какие инструкции нужно прописать в .htaccess для этого?

Заранее спасибо
 
Спасибо, но немножко не то, ту статью я читал, там как закрыть весь сайт, мне нужно лишь его часть...
 
что мешает скинуть .htaccess в нужную папку и закрыть ее?
 
По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?
 
По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?

это навряд-ли, .htaccess закрывает доступ к папке на уровне файловой системы, так что вряд-ли Яша сможет туда пролезть
 
По моему Яша сейчас всё равно лезет везде, закрыто это или нет ему по барабану... или я ошибаюсь?
Лезет и индексирует немножко разные понятия, вы не находите? Если сайт в бане это не значит что боты его не сканирует. Просто его нет в индексе.

хочу установить на сайт каталог ссылок
Хочешь в придачу за помойки и за клоакинг залелететь?

Отфильтровать ботов можно по юзер агенту или по ip адресу.
RewriteCond %{HTTP_USER_AGENT} Yandex|Google
 
Лезет и индексирует немножко разные понятия, вы не находите? Если сайт в бане это не значит что боты его не сканирует. Просто его нет в индексе.
Хочешь в придачу за помойки и за клоакинг залелететь?
Отфильтровать ботов можно по юзер агенту или по ip адресу.
RewriteCond %{HTTP_USER_AGENT} Yandex|Google
Помойку делать не собираюсь, чисто тематические ссылки, цель сделать тематический каталог как здесь:

Заметь, ни одной страницы этого каталога нету ни в индексе ни яндекса ни гугла, подозреваю что этого добились посредством .htaccess (robots.txt смотрел, с ним все ОК, тегов noindex и аттрибута nofollow тоже не заметил)
Уверен бан этому сайту не грозит, т.к. в индекс ничего не вошло.

---------- Post added at 22:33 ---------- Previous post was at 21:25 ----------

Вдогонку возник еще один вопрос:

мой сайт на joomla, url компонента каталога ссылок имеет вид:

/component/option,com_jvle/Itemid,87/layout,links/view,jvle/

Сам компонент находится в папке /components/com_jvle/

я поместил в нее нужный .htaccess, но он не срабатывает.

Как быть в этом случае? Куда поместить .htaccess и что в нем прописать, чтобы боты не смогли пройти по ссылкам вида

/component/option,com_jvle/*
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху