[Работа] Нужен парсер поисковиков на PHP

Статус
В этой теме нельзя размещать новые ответы.

komyak

Постоялец
Регистрация
4 Фев 2009
Сообщения
483
Реакции
194
Нужно написать парсер ссылок из Яндекс, Гугл и Яху с возможностью задать парсинг определённого поисковика. Реализация только на PHP. Внешний вид не нужен. Как за основу можно взять парсер сниплетов от [ZCFD], но для ссылок. Только на CURLe, многопоточность приветствуется. Каждый запрос должен сохраняться в отдельный файл.
Желательно вынести настройки в отдельный файл: кэшировать ли результаты, какие поисковики парсить, использовать ли прокси.
Функционал:
Ручной парсинг : в поле ввода вбиваете кей, получаете текст
Автоматический ( для крона:( на запуск ставить /адрес_скрипта?auto скрипт за каждый запуск берет по одному запросу из key.txt и парсит по нему ссылки, а пройденные переносит в файл out_key.txt
Работа с прокси:в файле proxy.txt находятся прокси, вида прокси:порт, по одному в строке.
Предпологаемые запросы: несколько слов, латиница, кирилица и спец.функции типа- inurl:"" intitle:"" и т.д. Поэтому смотрим где нужно rawurlencode, а где нет.
Расставить комментарии действий скрипта.
Оплата: 15WMZ или WMR по курсу.
 
судя по "Поэтому смотрим где нужно rawurlencode, а где нет." ты и сам можешь написать )))

PS а вообще то rawurlencode лучше использовать всегда, латиницу она просто не преобразует

PPS в старом скрипте нужно просто подправить регулярные выражения под твои цели
 
ZCFD, знаний не хватает...
PPS в старом скрипте нужно просто подправить регулярные выражения под твои цели
Это не проблема, регулярки я подправил, но он почему то отказывается парсить запросы из нескольких русских слов.
PS а вообще то rawurlencode лучше использовать всегда
Зато преобразует спец символы, типа ":"
Господа кто поможет?
 
НЕ АКТУАЛЬНО! Всё нашёл.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху