Проверка robots.txt у списка доменов

Тема в разделе "Мегафлуд", создана пользователем farm, 28 дек 2010.

Статус темы:
Закрыта.
  1. farm

    farm

    Регистр.:
    8 июн 2006
    Сообщения:
    536
    Симпатии:
    105
    Незнаю в каком разделе запостить тему, напишу сюда :)

    Нужна прога или скрипт который брал бы из .txt список доменов и чекал robots.txt на наличие одной из директив (запрет на индекс)

    Есть такое в природе?
     
Статус темы:
Закрыта.