Помощь robots.txt и templates

[acelotuse]

Точно, с Allow писать не верно... Так кто нибудь сможет ответить на вопрос, почему в DLE убирают индексацию temlates, ведь именно там прописывают куча ссылок по всему сайту. Лично у меня там больше 60 ссылок на статические страницы сайта. Но всё равно убирают. Конечно понятно что там куча хлама вроде css и другого, но всё же ?

Как я понимаю если в роботс прописано Disallow:/templates/ - то всё что находится в этой папке, включая и main.tpl будет обходиться поисковыми роботами. Как оно будет индексироваться ? Тогда можно и все папки прописать в роботс.тхт, если они будут индексироваться...

а смысл? Все равно все ссылки робот найдет, когда зайдет на index.php. А index в свою очередь заберет из вашего main.tpl. Успокойтесь, проиндексирует он все. Принцип работы движка же знаете? Знаете! По вашему он будет index.php c исходным кодом индексировать? ))) Вы же на сайт заходите по ссылке site.ru или по адресу site.ru/templates/ваш шаблон/main.tpl? Робот действует так же. Чтобы увидеть сайт ему не нужно копаться с ваших кодах, ему нужны ссылки на страницы.

 

[AlexSilver]

acelotuse , спасибо, успокоил ) Вот только осталось 1 не увязка, гугл и яндекс пишут, что вроде как можно использовать Allow, а Для просмотра ссылки Войди или Зарегистрируйся тут пишут, что это частая ошибка

 

[Mons]

acelotuse , спасибо, успокоил ) Вот только осталось 1 не увязка, гугл и яндекс пишут, что вроде как можно использовать Allow, а Для просмотра ссылки Войди или Зарегистрируйся тут пишут, что это частая ошибка

А ты сам подумай головой, кому стоит больше верить, гуглу с яндексом или левому сайту ?!

 

[soot]

А ты сам подумай головой, кому стоит больше верить, гуглу с яндексом или левому сайту ?!

Мне кажется там обобщено очень , боты есть не только у гугла и яши - есть еще кучи поисковиков , которые не поддерживают Allow и вся проблема , но в для русских сайтов мы просто обречены подстраиваться под google и yandex .
Только я смысла понять не могу спора , ведь все что не запрещено , то разрешено к индексации и все и будет универсально для всех .

Создал для яши отдельно с учетом карты сайта и хоста и для остальных включая гугл .

 

[acelotuse]

acelotuse , спасибо, успокоил ) Вот только осталось 1 не увязка, гугл и яндекс пишут, что вроде как можно использовать Allow, а Для просмотра ссылки Войди или Зарегистрируйся тут пишут, что это частая ошибка

лично мое мнение такое: allow не только можно, но и удобно использовать.