Ускорение роботы парсера

Тема в разделе "Как сделать...", создана пользователем Сергiй, 21 ноя 2013.

  1. Сергiй

    Сергiй

    Регистр.:
    19 ноя 2006
    Сообщения:
    352
    Симпатии:
    338
    Привет гуру, посоветуйте какими способами можно ускорить работу парсера, написали мне парсер, но за сутки в 2 потока не солью даже 15000 продуктов. Парсит со страниц сайта
     
  2. Genk0

    Genk0 Инквизитор из раздела J!

    Moderator
    Регистр.:
    2 июн 2010
    Сообщения:
    1.627
    Симпатии:
    1.330
    какой парсер, кто написал, на чем написал, зачем написал, что он делает, почему он так делает?

    ГДЕ конкретика?!
    "Скажите, почему у меня шнурки не завязываются крестиком?!"
     
  3. Сергiй

    Сергiй

    Регистр.:
    19 ноя 2006
    Сообщения:
    352
    Симпатии:
    338
    написан на php, регулярные выражение, парсит товар с sportsdirect.com, какая информация ещё нужна?
     
  4. Genk0

    Genk0 Инквизитор из раздела J!

    Moderator
    Регистр.:
    2 июн 2010
    Сообщения:
    1.627
    Симпатии:
    1.330
    да кто ж знает что там за парсер то? написать можно что угодноо внутри, как тебе могут помочь не зная как он работает?!
     
  5. esche

    esche

    Регистр.:
    9 авг 2009
    Сообщения:
    360
    Симпатии:
    243
    А в ТЗ наверняка про скорость ничего не было? :D

    Если парсер позволяет - запускать на разных компах разные разделы дёргать. Можно на одном (в нескольких вкладках), если донор не обидчивый.

    А вообще - есть смысл спешить? Откуда срок "сутки" взялся?
     
  6. Сергiй

    Сергiй

    Регистр.:
    19 ноя 2006
    Сообщения:
    352
    Симпатии:
    338
    Скорость будет в следующем ТЗ ) Задача была сделать парсер с интеграцией в престу,на счёт скорости, продуктов много, цены и продукты часто меняются, пока запускаю в 2 потока с одного IP.
     
  7. MaxiSoft

    MaxiSoft Постоялец

    Регистр.:
    5 апр 2007
    Сообщения:
    132
    Симпатии:
    82
    Ну как бы единственный вариант когда не видишь что за парсер предложить каким то образом сделать через прокси хотя бы на 10-15 потоков. :)
     
  8. LexTalionez

    LexTalionez Писатель

    Регистр.:
    11 ноя 2013
    Сообщения:
    3
    Симпатии:
    1
    А запущен он хотя бы на нормальном интернете?
     
  9. E-body

    E-body

    Регистр.:
    6 сен 2007
    Сообщения:
    979
    Симпатии:
    315
    Неочень удобный магазин для парсинга, там категории беда. А товаров свыше 80.000 (парсил Content Downloader)
     
  10. UJy

    UJy

    Регистр.:
    23 авг 2011
    Сообщения:
    320
    Симпатии:
    116
    Вообще не увидел в магазине проблем с парсингом контент даунлодером. Все категории/подкатегории выстроены красивенько, составить список ссылок легко. Товар правда на 1 уровне лежит, но по бредкрамбсам легко выстраивается структура категорий. Очень простой и удобный сайт в парсинге...

    По вопросу ТС - если парсер такой уж тормозной - выложи файл под хайдом - пусть люди посмотрят, возможно решение достаточно простое.
    Например в парсере стоит защита от бана и запросы на сайт при парсинге отсылаются с задержкой в пару секунд, что б он не принял это за DDOS и не забанил IP. Уменьшил задержку - увеличилась скорость...