Помощь составление robots.txt

Тема в разделе "DLE", создана пользователем Revenant425, 1 дек 2010.

Информация :
Актуальная версия DataLife Engine 11.2
( Final Release v.11.2 | Скачать DataLife Engine | Скачать 11.2 demo )
Нужно ли обновляться | Как обновиться | Изменения в шаблонах
> Нет русских символов <
[Приватная тема DLE (Все подробности в ЛС к модератору раздела)]

Версии 11.1 и ниже - уязвимы!

Локализации | F.A.Q. | Внешний вид
Правила раздела | Правила форума
Обсуждение хайда карается баном!
В каждом сообщении указывайте версию DLE, которого они касаются!
Статус темы:
Закрыта.
Модераторы: killoff
  1. Revenant425

    Revenant425

    Регистр.:
    16 авг 2008
    Сообщения:
    200
    Симпатии:
    31
    все ли правильно я сделал?ссылки с редиректом (go.php) тоже надо скрывать?
     
  2. killoff

    killoff CD тихо, и не DVD меня ;)

    Moderator
    Регистр.:
    13 май 2008
    Сообщения:
    2.101
    Симпатии:
    758
    1. Надо скрывать только те ссылки которые есть у тебя на сайте: у тебя с индексируемой страницы ведут ссылки на
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /backup/
    Disallow: /language/
    ??? не думаю!!! Поэтому это нафиг не нужно в этом файле.

    2. Вместо Disallow: /index.php?do=register и т.д. проще написать по маске index.php?do=

    3. Disallow: http://www.liveinternet.ru/ :D а это ещё что за строчка такая? Ты со своего сайта никак не сможешь бота заставить не индексировать другой сайт!!! :-]

    4. Disallow: /uploads/ - что плохого в том что картинки будут проиндексированы? Это только +се будет с поиска картинок.

    5. Disallow: /engine/download.php и Disallow: /engine/go.php Проще будет заменить на Disallow: /engine

    6. Disallow: /favorites/ - что-то не припомню такой страницы для поисковых ботов :D Закладки есть у авторизованного пользователя, а бот не может проиндексировать страницы закладок какого-нибудь пользователя...

    PS если не знаешь какие ссылки в файл прописать - составь карту сайта, посмотри какие ссылки вообще будут видны поисковому роботу (из п.1. точно не будет ни одной, точнее по-умолчанию нет!), и какие страницы из всех ссылок хочешь скрыть. Не пытайся все запихать в него.
     
    Revenant425 нравится это.
  3. Revenant425

    Revenant425

    Регистр.:
    16 авг 2008
    Сообщения:
    200
    Симпатии:
    31
    да, отжог =)хотел счетчик закрыть от индексации =)
     
Статус темы:
Закрыта.