как парсить форумы на определённом движке

Тема в разделе "Вопросы новичков", создана пользователем Copat, 1 фев 2009.

Статус темы:
Закрыта.
  1. Copat

    Copat Создатель

    Регистр.:
    9 янв 2009
    Сообщения:
    23
    Симпатии:
    0
    скажите как напарсить форум сделанный на определённом движке, например на основе PHPbb
     
  2. [btr]

    [btr]

    Регистр.:
    21 сен 2007
    Сообщения:
    180
    Симпатии:
    57
    Кхм, имеется предчувствие что тему снесут, но всетаки отвечу.:D
    возьми форум на нужном тебе движке(штуки 3) найди как можно больше признаков этого движка(признак-это отличие от других движков)
    вбивай в парсер признаки что нашел и парсь сколько душе угодно.
    Незабывай комбинировать запросы чтобы выжать максимум.
     
  3. swed

    swed

    Moderator
    Регистр.:
    17 апр 2008
    Сообщения:
    509
    Симпатии:
    494
    А еще признаки можно выдернуть с помощью инструмента в хрумере, так и называется - "анализатор признаков ссылок".
     
  4. SergeiSP

    SergeiSP

    Регистр.:
    13 фев 2007
    Сообщения:
    375
    Симпатии:
    115
    Дабы не открывать новую тему спрошу здесь, а каким парсером можно парсить форумы? Т.е. именно парсить ссылки из топиков нужного форума?
     
  5. Copat

    Copat Создатель

    Регистр.:
    9 янв 2009
    Сообщения:
    23
    Симпатии:
    0
    насколько мне известно можно AGGRESS Parser заточить под эту задачу тока это надо рыться в его конфигах, в крайнем случае спросить у его разрабов.
     
  6. SkyFox

    SkyFox Создатель

    Регистр.:
    19 ноя 2007
    Сообщения:
    42
    Симпатии:
    8
    полное название не помню, в названии было "краулер", Ру сео прога для анализа своего сайта, но при быстрой настройке отлично парсила из форумов все линки и шла вглубь на заданное кол-во страниц, попробуй погуглить "краулер" и т.п
     
  7. Rastafan

    Rastafan

    Регистр.:
    1 фев 2008
    Сообщения:
    649
    Симпатии:
    169
    ИМХО под такие нужды пишется приватный софт для конкретных ресов, что обеспечивает хорошую скорость парсинга, из готовых вариантов, можно заюзать A1 Sitemap Generator, она вроде фришная, если есть базовые знания инглиша то разобраться в ней просто, но парсит очень медленоо, гдет за сутки обрабатывает 60-80к, зачастую сервера на которых находится распашиваемый рес банят айпишник.

    ЗЫ по запросу краулер мона оч много че найти ))
     
  8. [btr]

    [btr]

    Регистр.:
    21 сен 2007
    Сообщения:
    180
    Симпатии:
    57
    сам делаю доры на форумах(сервисы форумов) если тебе именно для сайтмапа своих форумов могу поделится софтинкой(самому друг делал) которая не парсит а генерирует, если нужна обращайся ;)
     
  9. venetu

    venetu

    Регистр.:
    28 мар 2007
    Сообщения:
    737
    Симпатии:
    263
    Есть еще десктопная прога Web Forum Reader, отсюда: http://www.chemtable.com

    Сам не ставил, но судя по описанию именно то, что тебе надо. Попробуй.
     
  10. Pftriot

    Pftriot

    Регистр.:
    22 ноя 2007
    Сообщения:
    278
    Симпатии:
    226
    SergeiSP! Есть специальный краулер. Точного название к сожалению не помню. Толи Web crauler, толи Forum crauler.
    Примерно полгода назад продавалась на форуме Ботмастера, за 50 баксов,как сейчас обстоят дела ХЗ.(попробуй поискать, и связаться с автором)
    У мну где-то она была, если найду выложу.
     
Статус темы:
Закрыта.