Парсер форумов

[LEXAlForpostl]

Здравствуйте.
Хочу написать парсер форумов.
Подскажите пожалуйста, где можно найти признаки форумов?

 

[tostrss]

Ну вот, берем например этот форум.
В сурсе видим

vBulletin 3.8.3

Значит первых два признак будет это

powered by vBulletin 3.8.3
powered by vBulletin

Смотрим на урл этой темы

showthread.php?t=155899

Признаком будет

inurl: showthread.php

Также из него можно сделать разные

inurl: forum/showthread.php
inurl: showthread filetypehp
inurl: showthread filetypehp inurl:t

Ползем вверх и видим урл

forumdisplay.php?f=99

Получаем

inurl: forum/forumdisplay.php
inurl: forumdisplay filetypehp
inurl: forumdisplay filetypehp inurl:f

С другими форумами аналогично. Привел признаки для гугла, если тебе под свой скрипт, то просто по урлам, по типу форума и т.д.

 

[LEXAlForpostl]

Насчет урлов - видел много форумов, где на том же ВБ установлен человеко-понятные урлы. Как с этим быть?
Только по powered by?

 

[LEXAlForpostl]

Подскажите пожалуйста, как оформить правильно урл парсер, если урл написан на русском языке, да ещё и с пробелом.
Превый раз с таким сталкиваюсь.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Как написать парсер в таком случае?

 

[ZCFD]

а что меняется ?
разве что чаще всего понадобится перевести в utf-8 ( для википедии например )
в остально - урл как урл, ничего не меняется

 

[LEXAlForpostl]

урл как урл, ничего не меняется

Понятно.
Ковырялся, ковырялся.Не получается.
Подскажите пожалуйста, как спарсить оперделённую категорию на сайте

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Там стоит ограничение 30 страниц на отображение.

 

[afonya09]

Рекусивно проходи по страницам.

 

[LEXAlForpostl]

Как эту рекурсию организовать, если там всего то, 30 страниц, вместо 1000 страриц, которые есть в базе.
Думаю, что там надо либо с поиском играть либо что-то ещё?

 

[satih]

С поиском поиграть, однозначно, делай разные (похожие) запросы и при пост обработке удаляй дубли.