Парсер форумов

Тема в разделе "PHP", создана пользователем LEXAlForpostl, 13 ноя 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. LEXAlForpostl

    LEXAlForpostl

    Регистр.:
    21 май 2008
    Сообщения:
    740
    Симпатии:
    226
    Здравствуйте.
    Хочу написать парсер форумов.
    Подскажите пожалуйста, где можно найти признаки форумов?
     
  2. tostrss

    tostrss

    Регистр.:
    16 окт 2007
    Сообщения:
    771
    Симпатии:
    217
    Ну вот, берем например этот форум.
    В сурсе видим
    Значит первых два признак будет это
    Смотрим на урл этой темы
    Признаком будет
    Также из него можно сделать разные
    Ползем вверх и видим урл
    Получаем
    С другими форумами аналогично. Привел признаки для гугла, если тебе под свой скрипт, то просто по урлам, по типу форума и т.д.
     
  3. LEXAlForpostl

    LEXAlForpostl

    Регистр.:
    21 май 2008
    Сообщения:
    740
    Симпатии:
    226
    Насчет урлов - видел много форумов, где на том же ВБ установлен человеко-понятные урлы. Как с этим быть?
    Только по powered by?
     
  4. LEXAlForpostl

    LEXAlForpostl

    Регистр.:
    21 май 2008
    Сообщения:
    740
    Симпатии:
    226
    Подскажите пожалуйста, как оформить правильно урл парсер, если урл написан на русском языке, да ещё и с пробелом.
    Превый раз с таким сталкиваюсь.
    /search/etage=меньше 100/currency=RUR/offertype=предложение%2Cпродам/
    Как написать парсер в таком случае?
     
  5. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    437
    а что меняется ?
    разве что чаще всего понадобится перевести в utf-8 ( для википедии например )
    в остально - урл как урл, ничего не меняется
     
  6. LEXAlForpostl

    LEXAlForpostl

    Регистр.:
    21 май 2008
    Сообщения:
    740
    Симпатии:
    226
    Понятно.
    Ковырялся, ковырялся.Не получается.
    Подскажите пожалуйста, как спарсить оперделённую категорию на сайте http://irr.ru
    Там стоит ограничение 30 страниц на отображение.
     
  7. afonya09

    afonya09

    Регистр.:
    31 янв 2009
    Сообщения:
    260
    Симпатии:
    18
    Рекусивно проходи по страницам.
     
  8. LEXAlForpostl

    LEXAlForpostl

    Регистр.:
    21 май 2008
    Сообщения:
    740
    Симпатии:
    226
    Как эту рекурсию организовать, если там всего то, 30 страниц, вместо 1000 страриц, которые есть в базе.
    Думаю, что там надо либо с поиском играть либо что-то ещё?
     
  9. satih

    satih

    Регистр.:
    19 сен 2008
    Сообщения:
    429
    Симпатии:
    710
    С поиском поиграть, однозначно, делай разные (похожие) запросы и при пост обработке удаляй дубли.
     
Статус темы:
Закрыта.