[FreeWare] Простой загружатор картинок

Тема в разделе "SEO Скрипты", создана пользователем recasher2k12, 13 янв 2013.

  1. recasher2k12

    recasher2k12

    Регистр.:
    19 фев 2012
    Сообщения:
    156
    Симпатии:
    78
    Простой скрипт загрузки картинок по ссылкам.

    Требует установленные node.js и imagemagick
    Работает на всех виндо-совместимых и серверных ОС.

    Инструкция к применению:
    1) Скачать архив;
    2) Поместить список ссылок в images.txt, отчистить папку /images (если не пустая);
    3) Запустить скрипт командой
    Код:
    node img-loader
    либо на винде двойным кликом мыши по run.bat;
    4) По окончанию работы вытащить из папки /images прогруженные картинки.

    Что делает скрипт?
    Загружает картинку с параметрами клиента (браузера) :
    Referer = url заглавной страницы откуда качаем картинку
    User-Agent = UA Яндекс-бота
    Timeout = 10 секунд
    После загрузки картинки пытается получить разрешение картинки, чтобы отсеять не картинки.

    Минусы - работает в один поток.

    Скрипт до боли простой, готов к любым переделкам, готов к внедрению в ваш автоматизированный процесс создания сайтов. :hi:
     

    Вложения:

    • img-loader.zip
      Размер файла:
      261,9 КБ
      Просмотров:
      2
  2. 3xmaster

    3xmaster

    Регистр.:
    19 июн 2007
    Сообщения:
    552
    Симпатии:
    130
    Т.е. как я понимаю - УЖЕ должны имется прямые урлы?

    Если да, то зачем велосипед, если под винду любая современная качалка умеет скачивать по спискам. Тем более все они многопоточные. И с нормальными фейсами и оповещалками и вообще удобней..
     
  3. recasher2k12

    recasher2k12

    Регистр.:
    19 фев 2012
    Сообщения:
    156
    Симпатии:
    78
    Ну вот, например, мне фэйс не нужен в пользу автоматизации. Мне проще запланировать скрипт в cron, чем тыкать мышью. Мне интереснее смотреть за нулевым размером файла errors.log, чем смотреть на красивые progressbar'ы на рабочем столе.

    Много потоков тоже не обязательно в пользу стабильности (скачать в несколько потоков - фигня, основные утечки будут при анализе картинок - на доли секунд imagemagick полностью грузит ядро процессора). Анализ длится дольше скачивания. Два потока в одном процессе не ускорят этот процесс, а скорее затормозят.

    Если быть более конкретным, то прогружатор картинок мне нужен лишь между моим автоматически запускаемым круглосуточным парсером-генератором на сервере и автоматически запускаемым по расписанию заливатором постов в Wordpress.

    Из напарсенных urlов выживают (скачиваются) только 70%-80% картинок. У заливатора нет доступа к парсеру в случае если картинки не оказалось по url. Также заливатор увеличивает разрешение картинки, повышает параметр quality у JPG, накладывает фильтры и сглаживание в целях уникализации, проставляет параметры width=".." и height=".." у <img /> в содержании поста - важно чтобы картинка не только грузилась по url, но и была валидной для авто-изменения. После анализа выживают только 25%-30% картинок.

    Скрипт простой (всего 70 строк) и легко модифицируется. при добавлении/изменении 5-10 строк скрипт будет брать urlы не из файла, а из БД; сохранять результаты анализа картинки в БД, проверять картинку на повторы если, например, попалось совпадение sha-хэша файла картинки и его размер в байтах.