Ищу Скрипт/софтину для парсинга deviantart.com

Тема в разделе "Коммерческие", создана пользователем nizulko, 20 июн 2012.

Информация :
Публиковать (для всех) нуленые версии, особенно от modulesgarden КАТЕГОРИЧЕСКИ не стоит. Тема мониторится оным разработчиком, а к нам приходят абузы которые нельзя игнорировать.
Статус темы:
Закрыта.
Модераторы: Amazko, Aste
  1. nizulko

    nizulko

    Регистр.:
    5 ноя 2007
    Сообщения:
    166
    Симпатии:
    16
    Коллеги, парсить картинки (все), которые находятся по определенному запросу. Т.е. я ввожу в поиске, к примеру, слово "city" и мне находится 777 картинок. Необходимо все их сохранить, причем е превьюхи, а те, что отображаются по переходу по превьюхе.
    Есть ли такое и если нет, сколько будет стоит такое под заказ? Есть ли желающие взяться?..
     
  2. Genk0

    Genk0

    Регистр.:
    2 июн 2010
    Сообщения:
    10
    Симпатии:
    11
    да тем же Content Downloader'ом
    Озвучь примерные объемы (ключевиков или картинок)
    Пиши в аську (в профиле) может быть договоримся.
     
  3. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    1) открываеш сайт, вводиш запрос. Например твой запрос "sity"
    2) Смотриш все странички с результатом. Их там не так много, первая
    http://browse.deviantart.com/?qh=&section=&q=city
    а дальше
    http://browse.deviantart.com/?order=9&q=city&offset=24
    http://browse.deviantart.com/?order=9&q=city&offset=48
    .....
    http://browse.deviantart.com/?order=9&q=city&offset=2496
    (страницы идут с шагом в 24 картинки, максимум 2500 картинок выдает, список страниц генернуть - гавно вопрос, 104 ссылки, даже руками не сложно и не долго сделать, последняя страница будет ссылка выше, которая на 2496 заканчивается.)
    3) качаеш программу Teleport VLX с рутрекера портативный или нормальный по желанию
    4) создаеш проект со стартовым адресом http://browse.deviantart.com/?qh=&section=&q=city и глубиной скачивания = 2 (в настройках выбираеш "создать дубликат" и "скачать все")
    5) после создания проекта добавляеш сгенереный лист с остальными адресами через импорт списков. Глубина скачивания тоже = 2 (и галочку "скачать со всех серверов на глубину тоже = 2)
    6) Жмеш кнопку "старт"
    7) Ждеш
    8) Ждеш
    9) Ждеш
    10) После окончания работы программы в папке с проектом удаляеш все заведомо левые каталоги типа гуглы и макромедии, оставляя только поддомены deviantart.com.
    11) Немного посмотрев стуктуру получившегося месива папок разбираешся, где там картинки нужные. Тотал коммандером по этим папкам массово ищеш файлы типа .jpeg и если какие то еще будут там (я много не качал - желания нет) и складываеш их в отдельную папочку массово. Еще как вариант упрощения поиска в тотале дополнительным фильтром поставить файлы больше 100 кб например, чтоб превьюшки отсеить автоматом.
    Профит.

    В принцепе ничего сложного, можно загнать сразу список на много запросов, главное посомтреть запрос как выглядит на сайте и генернуть автозаменой новый список урлов. Можно сразу по нескольким запросам качать, только после 3-5к стартовых адресов телепорт будет неоправдано долго открываться и требовать до 500-1000 мегов оперативки, так что не факт, что это выйдет быстрее чем несколько меньших проектов.
     
    nizulko нравится это.
  4. Yuzik

    Yuzik

    Регистр.:
    28 июн 2006
    Сообщения:
    218
    Симпатии:
    101
    могу предложить написание РНР граббера, если еще актуально. Не будет лишнего мусора, а только нужные фото.
     
    nizulko нравится это.
  5. pochenok

    pochenok

    Регистр.:
    27 ноя 2008
    Сообщения:
    175
    Симпатии:
    59
    bulk image downloader решит все твои проблемы
     
    nizulko нравится это.
  6. nizulko

    nizulko

    Регистр.:
    5 ноя 2007
    Сообщения:
    166
    Симпатии:
    16
    Цена вопроса, я так понимаю?..
     
Статус темы:
Закрыта.