[Ищу] Многопоточный парсер на пхп

[zanxus]

Кто-нибудь знает готовый парсер яндекса открытым кодом и многопоточностью?
Что-нибудь похожее на Aura, только на php.

 

[PHP_Master]

У PHP нет многопоточности как таковой.

 

[ozware]

запускайте несколько скриптов одновременно,
при этом нужно заранее распилить задачи

 

[Sangre]

я писал что-то подобное, там многопоточность была реализована через AJAX

 

[oraculseed]

как таковой нет но процессорные ресурсы можно сократить в псевдо многопоточности на это есть библиотека CURL

 

[ModeX]

я писал что-то подобное, там многопоточность была реализована через AJAX

это не многопоточность - это эмуляция

как таковой нет но процессорные ресурсы можно сократить в псевдо многопоточности на это есть библиотека

В последних реализациях курл позволяет обработать сразу кучку урлов.
Но проблема в том, что он не вернёт управление пока не отработает саммый медленный запрос.

Если нужна реальная многопоточность, надо смотреть в сторону других языков.

 

[oraculseed]

ну это вы загнули конечно, курл можно настриить на максимальное время отработки... то биш если лимит исчерпан курл вернет фалс , точно не помню, вобщем курите ман и буит вам счастье

 

[ModeX]

Сам покури, потом советуй остальным - timeout не имеет никакого отношения к тому что я написал.

 

[oraculseed]

это не многопоточность - это эмуляция

В последних реализациях курл позволяет обработать сразу кучку урлов.
Но проблема в том, что он не вернёт управление пока не отработает саммый медленный запрос.

Если нужна реальная многопоточность, надо смотреть в сторону других языков.

хорошо давайте подискутируем что по вашему значит "не вернёт управление" и чем вам не устраивает CURLOPT_TIMEOUT в качестве ограничителя времени отработки одного curl-setopt'а ?

 

[PHP_Master]

Не надо дискутировать, надо просто увидеть как работает многопоточность в других языках и сравнить это с работой multi_curl - все вопросы сразу отпадут.