как собрать урлы всех топиков с форума

Тема в разделе "Вопросы новичков", создана пользователем barbakan, 6 дек 2008.

Статус темы:
Закрыта.
  1. barbakan

    barbakan

    Регистр.:
    18 авг 2007
    Сообщения:
    345
    Симпатии:
    399
    Как и чем можно собрать урлы всех топиков с форума кроме парсинга поисковиков.

    Например мне нужно с форума Перейти по ссылке
    собрать ссылки на все топики тиgа Перейти по ссылке

    Какой прогой это можно сделать?
     
  2. Serg78

    Serg78

    Регистр.:
    18 ноя 2006
    Сообщения:
    191
    Симпатии:
    61
    Offline Explorer ,загрузить карту сайта.

    а потом распарсить полученные файлы на предмет урлов
     
    barbakan нравится это.
  3. sarda

    sarda Создатель

    Регистр.:
    19 ноя 2008
    Сообщения:
    13
    Симпатии:
    3
    Как вариант, можно взять самый свежий топик, взять его id.
    Все значения viewtopic.php?t= , что ниже - топики, что уже существуют(или существовали). Если форум модерируется, то несуществующих может быть достаточно много.
     
    barbakan нравится это.
  4. alex-bot

    alex-bot Nulled-Man

    Регистр.:
    4 май 2007
    Сообщения:
    498
    Симпатии:
    144
    В общем ответ уже дали, самый быстрый способ это сделать карту сайта, и потом уже распарсить урлы. Если интересует десктопное решение то GSiteCrawler в помощь все необходимое присутствует, вот только скорость не оч большая.
     
    barbakan нравится это.
  5. skabbit

    skabbit Постоялец

    Регистр.:
    6 дек 2007
    Сообщения:
    88
    Симпатии:
    1
    если на сайте есть sitemap.xml - тогда никаких проблем.

    а так среди надёжных версий - самому написать паучка, который бегает по форуму и собирает все линки. пишется такое реально быстро.
     
Статус темы:
Закрыта.