[Ищу] Чем напарсить SMF-форумов?

ancifer2002

Полезный
Регистрация
14 Мар 2009
Сообщения
633
Реакции
19
Собственно вопросик в названии темы. Агресс-парсер в послоеднее время вообще отказывается работать. Не знаю почему.
 
Что в Агресс-парсере не нравится, что он парсит 100500 урлов с 1 и того же домена. Оллсаб умнее, справляется отменно, просто на все 100%, на демке шестой версии пробовал, но демка парсит 30 урлов и бай-бай! Старые ломаные версии не парсят нифига, а ради одной такой задачи отваливать кучу бабла за прогу нет смысла...
 
Хрефером спарси, делов-то
 
Хрефер не у всех имеется наверное. Кстати тот парсер простой во втором посте хорошая штука, но очень баганутый. После 80 000 ссылок зависает и задержку меньше 8000 ставить не советую, гугл иногда просит капчу.
 
Если запросы с inurl то через какое то количество запросов капча полюбому вылезит.
У меня при задержке 5000, капча вылазит где то через 500 запросов.
 
Назад
Сверху