Cканер страниц сайта (софт, скрипт, сервис)

Тема в разделе "Софт", создана пользователем nikky, 17 фев 2012.

  1. nikky

    nikky Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    128
    Симпатии:
    12
    Чем можно получить полный список страниц сайта? есть Content Downloader, но он не справляется
     
  2. Genk0

    Genk0

    Регистр.:
    2 июн 2010
    Сообщения:
    10
    Симпатии:
    12
    Попробуй сайтодувлоадеры.
    Правда они будут грузить весь сайт, но и список линков тоже можно получить
    Какой конкретно правда не подскажу.
     
  3. ZiX

    ZiX Коддинг, Парсинг

    Moderator
    Регистр.:
    9 июл 2011
    Сообщения:
    1.391
    Симпатии:
    582
    телепортом попробуй
     
  4. DarkWing

    DarkWing

    Регистр.:
    15 фев 2007
    Сообщения:
    358
    Симпатии:
    117
    Любой программой, которая может составлять карту сайта. Например Yazzle (есть ломаный), но там ограничение 4ый уровень вложенности. Хотя этого думаю должно хватить.
     
  5. nikky

    nikky Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    128
    Симпатии:
    12
    телепорт для скачки сайта и "сайтодувлоадеры" я там понял тоже. Мне нужен список всех страниц.
    а 4-го уровня вложенности, к сожалению, может не хватить
     
  6. Красавчег

    Красавчег Завсегдатай

    Регистр.:
    15 мар 2010
    Сообщения:
    901
    Симпатии:
    297
    nikky нравится это.
  7. Crucifer

    Crucifer

    Регистр.:
    6 фев 2007
    Сообщения:
    517
    Симпатии:
    249
    Content Downloader у меня тоже встает как приближается к миллиону страниц.

    Есть отличный гибкий инструмент которым можно спарсить сайт любого объема. Это Яндекс.Сервер.
    Документация

    Инструмент не из коробки, придется ручками поработать чтобы настроить конфигурацию.
    Как проиндексирует, потом можно все урлы из базы вытащить.
     
  8. nikky

    nikky Постоялец

    Регистр.:
    5 июл 2007
    Сообщения:
    128
    Симпатии:
    12
    вот только похоже Xenu Link репорт только ссылок сохранять не умеет
     
  9. Красавчег

    Красавчег Завсегдатай

    Регистр.:
    15 мар 2010
    Сообщения:
    901
    Симпатии:
    297
    nikky, в .tab расширении результат сохрани и в экселе потом открывай.
    Данные будут по столбцам распределены - какие надо, такие и копируй.