Карта сайтов (список url)

Тема в разделе "SEO Скрипты", создана пользователем akigleo, 24 фев 2012.

  1. akigleo

    akigleo

    Регистр.:
    7 фев 2010
    Сообщения:
    264
    Симпатии:
    27
    Допустим есть 100 сайтов и нужно собрать список url с каждого и сохранить в txt файл.
    Чем это можно сделать, чтобы сразу все 100, а не по одному?
    Подойдет скрипт или программа.
     
  2. kouri

    kouri Постоялец

    Регистр.:
    13 июл 2007
    Сообщения:
    101
    Симпатии:
    23
    Все урлы в один тхт файл или для каждого сайта в отдельный файл?
    Можно попробовать решить вопрос ContentDownloader`ом... Не рассматривал такой вариант?
     
  3. akigleo

    akigleo

    Регистр.:
    7 фев 2010
    Сообщения:
    264
    Симпатии:
    27
    Такой проги у меня нет, но как вариант решения - принято.
     
  4. Sma11erM1nd

    Sma11erM1nd Постоялец

    Регистр.:
    14 апр 2006
    Сообщения:
    96
    Симпатии:
    18
    Самое простое - это использовать content downloader.

    p.s. Все ссылки находятся на главных? Или надо ползать по сайту и собирать их?
     
  5. ZCFD

    ZCFD

    Регистр.:
    16 янв 2008
    Сообщения:
    989
    Симпатии:
    437
    а собрать sitemap.xml с сайтом можно?

    Если да - склить их и регуляркой собрать урлы, можно даже вручную в каком-нибудь RegExp Buddy