Как закрыть ссылку на сайте от бота?

[Nedikoff]

Недавно гугль индексировал даже страницы, которые запрещены в роботсе.. Сам заметил на 3 своих сайтах.. Сейчас вроде уже все норм

Может они не правильно прописаны?
Для каждого порта должен быть создан собственный файл robots.txt.
Например если используются протоколы http и https, то для каждого протокола потребуются отдельные файлы robots.txt.

 

[acelotuse]

Может они не правильно прописаны?
Для каждого порта должен быть создан собственный файл robots.txt.
Например если используются протоколы http и https, то для каждого протокола потребуются отдельные файлы robots.txt.

незнаю, могу и ошибаться, но если не ошибаюсь, робот не всегда при каждом заходе обращается к роботс.тхт. Если вы недавно изменили роботс, то робот может некоторое время ходить по сайту с учетом того роботса, который он просмотрел несколько часов назад. Незнаю, верно ли это, но мои наблюдения именно к такой мысли и навели. После изменения роботса боты продолжали свое "черное" дело, ориентируясь на старый роботс. Если я неправ - поправьте.

Цитата:Сообщение от qiq2.ru
Подскажи пожалуйста как это зделать?

тож хочу знать

присоединяюсь. Но хотелось бы уточнить: внутренние ссылки, это когда они прописываются без доменного имени и начинаются со знака слэш? Например не site.com/bububu/dududu а когда /bububu/dududu ?

 

[t3s]

пишется скрипт-редиректор, который получает джетом ссылку и перенаправляет посетителя на неё.
действующий пример - форум нуллед.вс, не котором благодаря редиректору внешних ссылок нету

 

[acelotuse]

пишется скрипт-редиректор, который получает джетом ссылку и перенаправляет посетителя на неё.
действующий пример - форум нуллед.вс, не котором благодаря редиректору внешних ссылок нету

а! Редирект другими словами?! Так бы сразу )))
у меня тоже один вопрос, тоже связан со скрытием от робота ссылок.
Как скрыть от бота в robots.txt группу ссылок, в которых допустим есть фраза block? Т.е. нужно чтобы бот не видел все ссылки, в которых есть это слово, и site.ru/new-block.html и site.ru/123block=reply и т.п.

 

[glamyrit]

а! Редирект другими словами?! Так бы сразу )))
у меня тоже один вопрос, тоже связан со скрытием от робота ссылок.
Как скрыть от бота в robots.txt группу ссылок, в которых допустим есть фраза block? Т.е. нужно чтобы бот не видел все ссылки, в которых есть это слово, и site.ru/new-block.html и site.ru/123block=reply и т.п.

тут все расписано и много примеров по данному вопросу.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Inverp]

а [noindex] это не то случаем? Простите если тупой ответ

 

[tlittle]

а [noindex] это не то случаем? Простите если тупой ответ

Ну Вы хоть первоначальный пост читайте Человек поставил тег ноиндекс, но роботы все равно прошлись по ссылкам. Неудивительно - к настоящему момента большинство пользовательских директив поисковые боты игнорируют вследствие того, что сеошники их активно используют. Приходится извращаться )

Подскажи пожалуйста как это зделать?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Как-то так, наверное...

 

[acelotuse]

тут все расписано и много примеров по данному вопросу.

Спасибо конечно за ответ, но перед тем как задать вопрос я пролистал много страниц, и нигде не нашел ответа, в том числе и по той ссылке, что вы дали. Как скрывать папки написано везде, даже на самых захудалых сайтах, а как скрывать страницы с определенным словом - нигде.