Решаема ли задача курлом?

[venetu]

Ну так а задача добиться загрузки каждую секунду.

Задача скачать все странички, ничего не пропустив. Если она с сервака будет грузиться полминуты, то ты хоть курлом, хоть вгетом, хоть станцуй блин а все равно "загрузки каждую секунду" не увидишь.

Курл ничем не лучше и не хуже, это не серебряная пуля и не разгонятель интернета. С ним будет работать для всех тех же случаев, что и без него. А в остальном - под него банально сложнее писать. Если это не останавливает - вперед, результат будет таким же. То есть мультикурл вполне подходит.

 

[Digwnews]

Я говорю о том, что многопоточность повысит скорость.

 

[venetu]

Я говорю о том, что многопоточность повысит скорость.

Абсолютно с тобой согласен. Просто я предлагаю ее реализовывать средствами самой ос, что в тысячи раз проще. Фактически, и реализовывать ничего не остается, "все уже украдено до нас". Да, этот метод будет расточительнее на проц/память, но я думаю 20 параллельных PHP-процессов твой комп уж как-нибудь да осилит.

Я не говорю что мультикурл бесполезная штука, нет. Если у тебя широкий канал и ты тянешь/постишь одновременно в тысячи разных сайтов, то такая вот "процессовая" многопоточность тебя очень быстро упрет в верхний лимит. И вот тогда-то переход на мультикурл покажет в десятки, а то и в сотни раз большую скорость. Просто надо ж соотносить условия задачи и сложность ее решения. В данном случае несколько параллельных процессов справятся на ура.

 

[phillip]

Внесу ясность!

прям КАЖДУЮ страницу я решил и не парсить, ну хотя бы большую часть.
Насчет того что грузить комп- сервак не так хорош чтобы его грузить)
Вообще про способ с мд5- мне понравилось!
Теперь появилсь другая трабла- на той странице каждый раз дается 20 кеев, я их планирую все в бд записывать. Дак вот поработал мой скриптик и через три дня мускуль заплакал (см. соседний топик)
За советы всем спасибо! Остановился на простом курле, оказалось что бООльших скоростей мне в принципе не надо