массовая проверка robots.txt

Тема в разделе "Мегафлуд", создана пользователем efs, 20 дек 2012.

  1. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    833
    Симпатии:
    489
    Интересует софт, которому можно скормить пачку доменов и кусок урла, а она на выходе скажет где он в robots.txt закрыт, а где нет.