Проверка robots.txt у списка доменов

Статус
В этой теме нельзя размещать новые ответы.

farm

Постоялец
Регистрация
7 Июн 2006
Сообщения
536
Реакции
115
Незнаю в каком разделе запостить тему, напишу сюда :)

Нужна прога или скрипт который брал бы из .txt список доменов и чекал robots.txt на наличие одной из директив (запрет на индекс)

Есть такое в природе?
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху