Ищу Список всех урлов сайта

Статус
В этой теме нельзя размещать новые ответы.

nikky

Постоялец
Регистрация
5 Июл 2007
Сообщения
128
Реакции
12
Большое количество сайтов, нужно быстро получить список всех урлов (страниц) каждого сайта, может сервис или скрипт?
 
несовсем подходит
xenu находит вообще все картинки, флеш, css + найденные урлы гемор из ние вытаскивать... експортирует с кучей мусора
 
Большое количество сайтов, нужно быстро получить список всех урлов (страниц) каждого сайта, может сервис или скрипт?

Если нужно забрать просто список линков вида


Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся


то:


Очень простая прога, в виде браузера. Ходишь по страницам и Кликаешь F2 и все линки собраны, что бы лишние не собирать, пишешь маску исключения.

Я эту прогу использовал как ручной парсер googla. За пол часа по 10k сайтов по признакам собирал.
 
Я для этой цели пользуюсь SiteMap Generator с wonderwebware.com - создает как SiteMap, так и список страниц в txt. Бесплатна.
 
Гыг:), если сайты не свои, и не совсем УГ, то может помочь волшебная универсальная ссылка вида:
HTML:
http://сайт.com/sitemap.xml
:)
С помощью простых регулярных выражений в notepad++ удаляем мусор и получаем просто список урлов.(можно также заюзать ворд :) )
 
Выбрал SiteMap Generator, проще, лучше и то что я искал, всем спасибо!
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху