Как последовательно обойти все страницы сайта

Статус
В этой теме нельзя размещать новые ответы.
Рекусрия самый очевидный вариант, но я бы не пользовался ей - не известно сколько уровней вложенности будет дерево сылок. Лучше всего действительно скормить сайт какому нить сервису по генерации sitemap.xml, потом быстро разобрать xml и отпарсить все, что надо
 
Рекусрия самый очевидный вариант, но я бы не пользовался ей - не известно сколько уровней вложенности будет дерево сылок. Лучше всего действительно скормить сайт какому нить сервису по генерации sitemap.xml, потом быстро разобрать xml и отпарсить все, что надо

Вот тут я с тобой не согласен. Можно использовать косвенную рекурсию с проверкой и вручную задавать уровень вложенности для поиска. Я на работе делал такую систему и пока сбоев не давала.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху