Ищу Список всех урлов сайта

Тема в разделе "Open Source", создана пользователем nikky, 15 июл 2010.

Статус темы:
Закрыта.
Модераторы: Amazko, Aste
  1. nikky

    nikky Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    126
    Симпатии:
    12
    Большое количество сайтов, нужно быстро получить список всех урлов (страниц) каждого сайта, может сервис или скрипт?
     
  2. LEE_ROY

    LEE_ROY

    Регистр.:
    26 янв 2007
    Сообщения:
    205
    Симпатии:
    20
    nikky нравится это.
  3. nikky

    nikky Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    126
    Симпатии:
    12
    несовсем подходит
    xenu находит вообще все картинки, флеш, css + найденные урлы гемор из ние вытаскивать... експортирует с кучей мусора
     
  4. bork75

    bork75 Д☼брая собака )

    Регистр.:
    21 июн 2008
    Сообщения:
    1.449
    Симпатии:
    716
    Если нужно забрать просто список линков вида


    http://sait1.ru
    http://sait2.ru
    http://sait3.ru/


    то:
    LinkGraber
    http://linkaudit.com.ua/utility/

    Очень простая прога, в виде браузера. Ходишь по страницам и Кликаешь F2 и все линки собраны, что бы лишние не собирать, пишешь маску исключения.

    Я эту прогу использовал как ручной парсер googla. За пол часа по 10k сайтов по признакам собирал.
     
  5. antifilter

    antifilter

    Регистр.:
    25 сен 2007
    Сообщения:
    302
    Симпатии:
    138
    Я для этой цели пользуюсь SiteMap Generator с wonderwebware.com - создает как SiteMap, так и список страниц в txt. Бесплатна.
     
    nikky и DryTt нравится это.
  6. DryTt

    DryTt Писатель

    Регистр.:
    6 июл 2010
    Сообщения:
    4
    Симпатии:
    0
    спасибо, то что надо.
     
  7. dfcbkbq1

    dfcbkbq1 Постоялец

    Регистр.:
    4 май 2009
    Сообщения:
    88
    Симпатии:
    9
    Гыг:), если сайты не свои, и не совсем УГ, то может помочь волшебная универсальная ссылка вида:
    HTML:
    http://сайт.com/sitemap.xml
    :)
    С помощью простых регулярных выражений в notepad++ удаляем мусор и получаем просто список урлов.(можно также заюзать ворд :) )
     
  8. nikky

    nikky Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    126
    Симпатии:
    12
    Выбрал SiteMap Generator, проще, лучше и то что я искал, всем спасибо!
     
Статус темы:
Закрыта.