1. Задавайте здесь вопросы о коде, которые не подходят в другие разделы, такие как:
    Дизайн > Верстка
    PHP > Как сделать на PHP
    Скрыть объявление

Парсер ядекса

Тема в разделе "Web Coding", создана пользователем webrazrabot4ik, 10 окт 2006.

Статус темы:
Закрыта.
Модераторы: latteo
  1. webrazrabot4ik

    webrazrabot4ik Прохожие

    Никто не писал парсер результатов поисковых запросов на яндексе?

    Я заметил там такую фигню - в УРЛ запроса есть параметр "q" который является числом. Вот этот параметр переодически меняет своё значение при листинге результатов...

    Вопрос: чт за параметр, как его обойти?
    Т.к. когда парсю страницы, и если параметр не совпадает (по мнению яндекса) он выдаёт пустые страницы и якобы был пустой запрос!
     
  2. NaZg

    NaZg Прохожие

    а вот тут
    http://spectator.ru/technology/php/analyzing_hits_from_search_engines
    хороший ман
     
  3. webrazrabot4ik

    webrazrabot4ik Прохожие

    та не.... это не то.. Мне не нужно смотреть переходы с поисковиков.. Мне нужно забирать все поисковые результаты яндекса...
     
  4. Destruction

    Destruction Прохожие

    Регулярные выражение и вперёд с песнями.
     
  5. untwist

    untwist Постоялец

    Регистр.:
    30 сен 2006
    Сообщения:
    121
    Симпатии:
    35
    для Яши уже парсера четыре написал, никаких проблем.
    выкладывай свой парсер посмотрим в чем проблема
     
  6. Alex2006

    Alex2006 Прохожие

    Вообще не понимаю в чём проблемы,:) . Берёшь курл, и парсишь результат на регулярные выражения, задача на 12 строк php.
     
  7. HeavyHell

    HeavyHell

    Заблокирован
    Регистр.:
    15 апр 2006
    Сообщения:
    278
    Симпатии:
    71
    http://rapidshare.com/files/2060672/yandexDirectParser.zip.html
    пробуй
     
  8. webrazrabot4ik

    webrazrabot4ik Прохожие

    так это парсер директа..

    То шо регуляки - не спорю... Дружу.. Но вот проблема заключается в том, шо яндекс генерерит уникальный код, который гетом передаёт... и как он генерерится и на какм этапе поиска меняется это остаётся загадкой... Т.е. если в параметрах поиска просто задавать один поисковый запрос - 1-2 страницы проходим - потом пустота... проверям на каком урле остановились.. смотрим - в результатах поиска вообще пуста страница...

    ну то ладно.. чуть позже буду разбираться.. сейчас надо с той шо етсь базой разобраться..
     
  9. untwist

    untwist Постоялец

    Регистр.:
    30 сен 2006
    Сообщения:
    121
    Симпатии:
    35
    да ничего не генерируются
    точнее есть параметр $q но его можно использовать одинаковый
    к примеру у меня везде стоит

    http://www.yandex.ru/yandpage?q=818836167&p=$numberpage&ag=d&rpt=rad&qs=text%3D$end

    где $numberpage - номер просматриваемой страницы
    $end - собственно сам запрос

    проверить просто
    заменяем параметры на 2 и test

    http://www.yandex.ru/yandpage?q=818836167&p=2&ag=d&rpt=rad&qs=text%3Dtest
     
  10. MisterX

    MisterX Постоялец

    Регистр.:
    10 ноя 2006
    Сообщения:
    101
    Симпатии:
    7
    Просто парсишь HTML код, ищешь новое значение этого параметра и передаешь это новое значение в качестве параметра яндексу.

    Добавлено через 2 минуты
    Вряд ли яндекс сделал этот параметр просто для красоты и рано или поздно использование одного и того же значение приведет к неработоспособности скрипта. Лучше все же эмулировать работу браузера и определять значение параметра анализируя код формы яндекса.
     
Статус темы:
Закрыта.