Как сделать парсер?

Тема в разделе "Как сделать...", создана пользователем Zloboff, 13 мар 2009.

Статус темы:
Закрыта.
  1. Zloboff

    Zloboff Прохожие

    Описание основного задания
    Разработать веб-приложение которое по введенному в поле ключевой фразе выводит список доменов первых N сайтов из поисковой выдачи Яндекса. Пользователь должен ввести через форму «Ключевую фразу» и желаемое количество доменов в списке (например, 100 ). Приложение просматривает результаты выдачи Яндекса по введенной ключевой фразе и возвращает результат в виде списка доменов. Если ссылка на сайт в выдаче ведет не на главную страницу, то его url необходимо обрезать и оставить только имя домена (к примеру mail.ru, rambler.ru и т.п.)
    Задание должно быть выполнено как веб-сайт с одной или несколькими страницами, т.е. приложение должно содержать:

    Внешний вид приложения остается на усмотрение тестируемого.
    Приложение разработать на языке PHP 5
    Описание дополнительного задания
    По желанию, можно усложнить данное приложение одной или несколькими доработками на Ваш выбор:
    • Основной функционал по поиску доменов выполнен как класс (ООП)
    • Авторизация пользователя перед использованием приложения (логин,пароль)
    • Javascript проверка введенных данных в поля и перехват отправки данных при неверно введенных значениях в полях
    • Список доменов выводится без перезагрузки страницы (AJAX)
    • Результаты парсера выдачи сохраняются в базу данных MySQL (спроектировать структуры БД и сохранять туда полученные данные)
    • Обрезать url до доменов с помощью регулярного выражения
    Подсказки
    • Для получения выдачи Яндекса можно воспользоваться как минимум двумя путями:
    1. Открывать страницу http://yandex.ru/yandsearch?text=Ваша_ключевая_фраза и получать из страницы домены сайтов
    2. Воспользоваться сервисом Яндекс.XML и отсылать и получать XML запросы.
    • Если используем первый вариант получения, то необходимо переходить между страницами. Используется для этого GET-параметр «p». Нумерация начинается с нуля.

    Помогите пожалуйста, сроки до 16...

    Добавлено через 16 минут
    Мои наработки:

    <?php

    include('config.php');
    $domains = 'http://php.ru/index.php';
    $search = 'http://yandex.ru/yandsearch?text=$keywords';
    // Ищем URL
    preg_match('@^(?:http://)?([^/]+)@i', $domains, $matches);
    $host = $matches[1];

    // Берём последние 2 сигмента ссылки
    preg_match('/[^.]+\.[^.]+$/', $host, $matches);
    echo "Домены: {$matches[0]}\n";

    ?>

    Вот не знаю как через форму заставить по ключевым словам собирать домены с http://yandex.ru/yandsearch?text=Ваша_ключевая_фраза
     
  2. Inviseble_Demon

    Inviseble_Demon

    Регистр.:
    11 дек 2008
    Сообщения:
    482
    Симпатии:
    351
    :eek::eek::eek::eek::eek:

    Ахринеть !!!
    Вы сайтом не ошиблись !?
    Может вам сюда

    Примерно то что вам нужно я выполнил в http://www.nulled.ws/showthread.php?t=110101 все остальное клипайте сами !!


    PS. ОХРИНЕТЬ НАГЛОСТЬ !!!
     
Статус темы:
Закрыта.