[Помогите!] Руглярные выражения в robots.txt

Тема в разделе "Регулярные выражения", создана пользователем OnArs, 6 апр 2009.

Статус темы:
Закрыта.
Модераторы: xpert13
  1. OnArs

    OnArs

    Регистр.:
    30 авг 2008
    Сообщения:
    259
    Симпатии:
    74
    Здравствуйте, ув. Nulled'овцы! ;)


    Подскажите пожалуйста, как в robots.txt запретить URL'ы вида:
    • Neki-tekst-v-urle-m9.html

    т.е. где есть
    • -m[число].html

    Пробую делать вот так:
    • Disallow: /*-m(\d{2}).html
    или так
    • Disallow: /*-m([0-9]*).html

    Но увы, это не даёт желаемого результата.
    Помогите пожалуйста! Заранее благодарен! :ay:
     
  2. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    Так вроде же не поддерживаются регулярки, только '*' и '$'.
     
  3. OnArs

    OnArs

    Регистр.:
    30 авг 2008
    Сообщения:
    259
    Симпатии:
    74
    Хм., а как тогда быть? Как закрывать такие урлы?
     
  4. uNknownMark

    uNknownMark

    Регистр.:
    22 сен 2007
    Сообщения:
    393
    Симпатии:
    169
    OnArs, PHP_Master прав.
    Можешь насчет синтаксиса и допустимых директив в robots.txt почитать
    http://help.yandex.ru/webmaster/?id=996567
    http://www.webcorp.ru/page/format_robots.html

    Разве что:
     
  5. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    Придумывать другие способы.
    Да и поисковики часто смотрят страницы запрещённый в robots
     
  6. uNknownMark

    uNknownMark

    Регистр.:
    22 сен 2007
    Сообщения:
    393
    Симпатии:
    169
    Не совсем уверен но возможно можно с помощью rewrite переписать обращения к этим файлам так что бы они вроде как были в одной директории, и уже её закрыть от индексации. Или нет?
     
  7. OnArs

    OnArs

    Регистр.:
    30 авг 2008
    Сообщения:
    259
    Симпатии:
    74
    Мне как раз от Google и нужно закрывать! ;)

    Исходя из вышеописанного как решить мою проблему? :ah:
     
  8. PHP_Master

    PHP_Master

    Регистр.:
    3 фев 2008
    Сообщения:
    2.647
    Симпатии:
    590
    Клади эти урлы в одну папку и закрывай.
    По другому никак.
     
  9. RolCom

    RolCom

    Регистр.:
    12 мар 2008
    Сообщения:
    351
    Симпатии:
    108
    Отдавай все документы с указанным именем с тегом <meta name="robots" content="noindex,nofollow">.
    Если у тебя просто куча html файлов можно пройтись по ним утилитой вроде PowerGrep, и расставить теги автоматом, регуляркой.
     
  10. Darkmind

    Darkmind SNMP maniac

    Регистр.:
    31 май 2006
    Сообщения:
    183
    Симпатии:
    75
    Можно использовать mod_rewrite правило, которое будет действовать только для гугля:

    RewriteEngine on
    RewriteCond %{HTTP_USER_AGENT} googlebot [NC]
    RewriteRule -m(\d+)\.html http://www.microsoft.com/$1

    Бот гугля, запросивший документ, содержащий в имени "-m{число}.html" будет отправлен индексировать майкрософт =)
     
Статус темы:
Закрыта.