Как, чем можно массово проверить robots.txt на запрет индексации.

Тема в разделе "Вопросы новичков", создана пользователем vladis1333, 20 фев 2012.

Статус темы:
Закрыта.
  1. vladis1333

    vladis1333

    Регистр.:
    18 июл 2010
    Сообщения:
    588
    Симпатии:
    227
    Подскажите как, чем (софт,сервис) можно проверить у пару тысяч сайтов robots.txt на наличие там определенной строчки (закрытость к индексации профилей)?
    Поиск результатов не дал.
     
  2. StrikeOFF

    StrikeOFF ♥kan inte lyfta utan lift♥

    Регистр.:
    20 мар 2010
    Сообщения:
    363
    Симпатии:
    204
    Content dowloader-у(может и другим парсером, я этим пользуюсь) скармливаешь список ссылкок. В шаблоне вывода ставишь все в одну строку + название сайта оставляешь. На выходе получаешь тхт файл. Дальше используешь поиск по файлу. Или можно регуляркой оставить то что удовлетворяет параметры.
     
    vladis1333 нравится это.
  3. IamDevil

    IamDevil Капитан

    Регистр.:
    15 ноя 2009
    Сообщения:
    243
    Симпатии:
    57
    m25 и vladis1333 нравится это.
  4. Красавчег

    Красавчег Завсегдатай

    Регистр.:
    15 мар 2010
    Сообщения:
    901
    Симпатии:
    297
    vladis1333, если ничего путного не найдешь, отпиши в личку - где-то валялась софтина. может найду.
     
    vladis1333 нравится это.
  5. 22Striker22

    22Striker22 Постоялец

    Регистр.:
    17 янв 2008
    Сообщения:
    107
    Симпатии:
    69
    Хрумером можно (анализатором баз)
     
  6. vladis1333

    vladis1333

    Регистр.:
    18 июл 2010
    Сообщения:
    588
    Симпатии:
    227
    в 5-ке нуленной можно?
     
  7. 22Striker22

    22Striker22 Постоялец

    Регистр.:
    17 янв 2008
    Сообщения:
    107
    Симпатии:
    69
    Без понятия, у меня лицензия.
    Теоретически можно. Там есть анализатор баз, дописываешь к ссылкам в базе url/robots.txt и ищешь по телу страницы нужное вхождение.
     
    vladis1333 нравится это.
  8. TIIIMOXAN

    TIIIMOXAN

    Регистр.:
    1 сен 2009
    Сообщения:
    403
    Симпатии:
    70
    100% можно
     
    vladis1333 нравится это.
  9. Sergo_Sev

    Sergo_Sev Творец

    Регистр.:
    14 июн 2008
    Сообщения:
    571
    Симпатии:
    187
  10. qazibum

    qazibum

    Регистр.:
    21 окт 2009
    Сообщения:
    200
    Симпатии:
    9
    Я где-то на форуме видел запросы писали под гугл для поиска по robotx.txt на предмет запрета индексации сайтов или отдельных разделов, а сейчас найти не могу. Дайте линк на тему или что-то такое, если кто знает.
     
Статус темы:
Закрыта.