Pyspider: Powerful Spider System — удобная площадка для запуска «пауков»

Тема в разделе "Open Source", создана пользователем Amazko, 16 янв 2015.

Модераторы: Amazko, Aste
  1. Amazko

    Amazko #АдминОтпиши

    Moderator
    Регистр.:
    4 мар 2012
    Сообщения:
    569
    Симпатии:
    311
    [​IMG]
    Pyspider: Powerful Spider System — удобная площадка для запуска «пауков», которые скачивают страницы по заданным правилам и выполняют другие задания в интернете, с системой мониторинга и прочими приятностями (демо).

    A Powerful Spider(Web Crawler) System in Python. TRY IT NOW!

    • Write script in python with powerful API
    • Python 2&3
    • Powerful WebUI with script editor, task monitor, project manager and result viewer
    • Javascript pages supported!
    • MySQL, MongoDB, SQLite, Postgresql as database backend
    • Task priority, retry, periodical, recrawl by age and more
    • Distributed architecture
    Documentation: http://docs.pyspider.org/ Tutorial: http://docs.pyspider.org/en/latest/tutorial/