Cron или не крон использовать при серверном парсинге?

[TopReseller]

Пишем техническое задание для парсера, уперся в проблему.
Есть 100-200 страниц, с которые парсить нужно, а программист сказал что крон дает на работу скрипта 30 секунд и за это время список не успеет спарсить.
Что посоветуете?
Хотел запускать без крона, по событию, например посещение страницы пользователем.
Тогда опять проблема - посещений мало и запускаться скрипт почти не будет, а забирать новости нужно постоянно.

 

[Дмитрий Кесаев]

3й пост Как спарсить жж?

Спойлер

«Snoopy» — это класс, предназначеный для имитации веб-браузера. Он позволяет упростить отправку форм и получение кода HTML-страниц посредством PHP. Данный класс является хорошей альтернативой «CURL». К сожалению, официальной онлайн-документации я так и не нашёл, но в Интернете есть множество статей по использованию данного класса.

 

[SkiLLer]

Сделать в скрипте запись логов, поставить запуск скрипта, например, на каждую минуту и проверять работает ли скрипт, если работает - die(), чтобы не плодить кучу работающих копий, если не работает, смотреть последнюю отработанную задачу (записывать это в лог) и начинать после нее. Все, не будет потерь и ограничения по времени работы скрипта не будут критичны.

 

[TopReseller]

Сделать в скрипте запись логов, поставить запуск скрипта, например, на каждую минуту и проверять работает ли скрипт, если работает - die(), чтобы не плодить кучу работающих копий, если не работает, смотреть последнюю отработанную задачу (записывать это в лог) и начинать после нее. Все, не будет потерь и ограничения по времени работы скрипта не будут критичны.

Но как это запускать? По крону или по событию (по какому тогда?)? Или существуют другие варианты?

 

[unsiker]

По крону или по событию (по какому тогда?)?

недавно разбирался с форумом vbulletin, грубо говоря там на каждой странице подгружается сгенерированная картинка 1х1px.
что то типа такого <img src="cron.php?rnd=123456">
а в коде cron.php выполняются задания, в твоем случае парсер

 

[TopReseller]

подгружает картинку то при посещении страницы, а посещаемость очень маленькая и это не подойдет

 

[SkiLLer]

Но как это запускать? По крону или по событию (по какому тогда?)? Или существуют другие варианты?

По крону. Я крон имел ввиду.

 

[exhumer]

Очевидно крон - самое правильное решение. И нет привязки к трафику. Крон пусть запускает скрипт, который определяет текущее состояние и запускает или не запускает соответствующую задачу. Через логи или еще как - это уже вопрос другой. Скажите программеру - пусть не ленится

 

[SiZE]

крон дает на работу скрипта 30 секунд

Обманывает вас программист. Время выполнения скрипта задается настройками РНР.

 

[TopReseller]

Решили работать с логом через крон, как советовал SkiLLer

Обманывает вас программист. Время выполнения скрипта задается настройками РНР.

На обычном хостинге не дают править настройки, и пользуемся тем что есть, а там выставлено 30 сек