[Помогите!] Руглярные выражения в robots.txt

[OnArs]

Здравствуйте, ув. Nulled'овцы!


Подскажите пожалуйста, как в robots.txt запретить URL'ы вида:

• Neki-tekst-v-urle-m9.html

т.е. где есть

• -m[число].html

Пробую делать вот так:

• Disallow: /*-m(\d{2}).html

или так

• Disallow: /*-m([0-9]*).html

Но увы, это не даёт желаемого результата.
Помогите пожалуйста! Заранее благодарен!

 

[PHP_Master]

Так вроде же не поддерживаются регулярки, только '*' и '$'.

 

[OnArs]

Хм., а как тогда быть? Как закрывать такие урлы?

 

[uNknownMark]

OnArs, PHP_Master прав.
Можешь насчет синтаксиса и допустимых директив в robots.txt почитать

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Разве что:

Google - первый поисковый сервер, который поддерживает в директивах регулярные выражения. Что позволяет запрещать индексацию файлов по их расширениям.

 

[PHP_Master]

Хм., а как тогда быть? Как закрывать такие урлы?

Придумывать другие способы.
Да и поисковики часто смотрят страницы запрещённый в robots

 

[uNknownMark]

Не совсем уверен но возможно можно с помощью rewrite переписать обращения к этим файлам так что бы они вроде как были в одной директории, и уже её закрыть от индексации. Или нет?

 

[OnArs]

OnArs, PHP_Master прав.
Разве что:
Google - первый поисковый сервер, который поддерживает в директивах регулярные выражения. Что позволяет запрещать индексацию файлов по их расширениям.

Мне как раз от Google и нужно закрывать!

Исходя из вышеописанного как решить мою проблему?

 

[PHP_Master]

Клади эти урлы в одну папку и закрывай.
По другому никак.

 

[RolCom]

Отдавай все документы с указанным именем с тегом <meta name="robots" content="noindex,nofollow">.
Если у тебя просто куча html файлов можно пройтись по ним утилитой вроде PowerGrep, и расставить теги автоматом, регуляркой.

 

[Darkmind]

Можно использовать mod_rewrite правило, которое будет действовать только для гугля:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} googlebot [NC]
RewriteRule -m(\d+)\.html http://www.microsoft.com/$1

Бот гугля, запросивший документ, содержащий в имени "-m{число}.html" будет отправлен индексировать майкрософт =)