1. Внимание! Строго запрещен ап своих тем чаще чем раз в 7 дней! Если ваши услуги/товары никому не интересны - UP вам не поможет! Хотите чтобы тема была сверху всегда - оплачивайте закрепление!

[Работа] Нужен парсер поисковиков на PHP

Тема в разделе "Рекламный раздел", создана пользователем komyak, 1 ноя 2009.

Статус темы:
Закрыта.
  1. komyak

    komyak

    Регистр.:
    4 фев 2009
    Сообщения:
    484
    Симпатии:
    185
    Нужно написать парсер ссылок из Яндекс, Гугл и Яху с возможностью задать парсинг определённого поисковика. Реализация только на PHP. Внешний вид не нужен. Как за основу можно взять парсер сниплетов от [ZCFD], но для ссылок. Только на CURLe, многопоточность приветствуется. Каждый запрос должен сохраняться в отдельный файл.
    Желательно вынести настройки в отдельный файл: кэшировать ли результаты, какие поисковики парсить, использовать ли прокси.
    Функционал:
    Ручной парсинг : в поле ввода вбиваете кей, получаете текст
    Автоматический ( для крона:( на запуск ставить /адрес_скрипта?auto скрипт за каждый запуск берет по одному запросу из key.txt и парсит по нему ссылки, а пройденные переносит в файл out_key.txt
    Работа с прокси:в файле proxy.txt находятся прокси, вида прокси:порт, по одному в строке.
    Предпологаемые запросы: несколько слов, латиница, кирилица и спец.функции типа- inurl:"" intitle:"" и т.д. Поэтому смотрим где нужно rawurlencode, а где нет.
    Расставить комментарии действий скрипта.
    Оплата: 15WMZ или WMR по курсу.
     
  2. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    437
    судя по "Поэтому смотрим где нужно rawurlencode, а где нет." ты и сам можешь написать )))

    PS а вообще то rawurlencode лучше использовать всегда, латиницу она просто не преобразует

    PPS в старом скрипте нужно просто подправить регулярные выражения под твои цели
     
  3. komyak

    komyak

    Регистр.:
    4 фев 2009
    Сообщения:
    484
    Симпатии:
    185
    ZCFD, знаний не хватает...
    Это не проблема, регулярки я подправил, но он почему то отказывается парсить запросы из нескольких русских слов.
    Зато преобразует спец символы, типа ":"
    Господа кто поможет?
     
  4. komyak

    komyak

    Регистр.:
    4 фев 2009
    Сообщения:
    484
    Симпатии:
    185
    НЕ АКТУАЛЬНО! Всё нашёл.
     
Статус темы:
Закрыта.