Как получить список URLов всех страниц сайта?

Тема в разделе "Вопросы новичков", создана пользователем glaz, 16 сен 2009.

Статус темы:
Закрыта.
  1. glaz

    glaz Постоялец

    Регистр.:
    11 дек 2008
    Сообщения:
    74
    Симпатии:
    7
    Собственно сабж. Есть сайт, хочу на нем сделать внутреннюю перелинковку. Есть ли какие-нибудь софтины, или скрипты, которые позволяют получить список URLов всех страниц на сайте.

    Наверно это могут различные сервисы по созданию sitemap'ов, но там немного не то.

    В общем результат должен быть что-то вроде ТХТшника, который в каждой строчке содержит УРЛ страницы, что типа:


    _http://www.site.ru/
    _http://www.site.ru/cat1/
    _http://www.site.ru/cat2/
    _http://www.site.ru/cat3/

    и т.д.

    Если подобные темы есть, дайте ссылку, а это кильните.
     
  2. DarkWing

    DarkWing

    Регистр.:
    15 фев 2007
    Сообщения:
    358
    Симпатии:
    117
    Можно воспользоваться прогой E'RIDA inner или Yazzle

    Что-бы из E'RIDA inner получить ссылки, нужно после анализа сохранить их в штатный документ ериды. Затем открываешь каким-нить простым текстовым редактором и копируй ссылки в txt. У меня с этим прекрасно справляется AkelPad.
     
    glaz нравится это.
  3. Grabus

    Grabus Постоялец

    Регистр.:
    7 дек 2007
    Сообщения:
    91
    Симпатии:
    31
    http://seoengines.net/
    регишся, добаляешь сайт, подтверждаешь права, ждешь.
    сайт спарсится, и выдаст тебе все внутренние ссылки твоего сайта в нужном тебе формате: txt, html, xml.
     
    glaz нравится это.
  4. mrr

    mrr

    Регистр.:
    21 окт 2007
    Сообщения:
    373
    Симпатии:
    390
    Еще вариант:
    http://wonderwebware.com/sitemap-generator/SiteMapG.exe
    Сканируешь с помощью него сайт (есть выбор от 1 до 10 потоков), затем во вкладке "Yahoo Map/Text" забираешь все ссылки в текстовом формате.
     
    Tima111, 0Bender и glaz нравится это.
  5. glaz

    glaz Постоялец

    Регистр.:
    11 дек 2008
    Сообщения:
    74
    Симпатии:
    7
    mmr, прога хорошая. А там можно как-нибудь запретить сканить дерикторию форума? т.е. сканить все кроме _http://site.ru/forum/*
    а то чет ппц, на форуме всего постов 400, а он страницы 20к нашел.... (как бы я знаю почему так много, и именно поэтому хочу запретить сканить форум).
     
  6. sir_Jack

    sir_Jack Создатель

    Регистр.:
    9 авг 2009
    Сообщения:
    16
    Симпатии:
    0
    Активно для этой цели использую бесплатную прогу под названием XENU. Помимо ссылок может считать сколько на каждую страницу ссылается и сколько ссылается сама эта страница.. :)
    Google в помощь :)
     
  7. 0Bender

    0Bender Создатель

    Регистр.:
    30 июл 2009
    Сообщения:
    11
    Симпатии:
    0
    mrr, Отличная программа - и url, и title "собирает". Искал такую. Но слишком уж много несуществующих страниц находит:confused:
    Хотя вроде и ссылок на них не где нет.
     
  8. monia

    monia

    Регистр.:
    27 июл 2007
    Сообщения:
    421
    Симпатии:
    68
    glaz, вот тебе онлайн вариант
    _http://madnet.name/tools/madss
     
  9. PaRaBe11um

    PaRaBe11um Создатель

    Регистр.:
    4 янв 2009
    Сообщения:
    45
    Симпатии:
    5
    Воспользуйся генератором сайтмап

    http://www.xml-sitemaps.com/
     
  10. puika

    puika

    Регистр.:
    25 ноя 2006
    Сообщения:
    262
    Симпатии:
    277
Статус темы:
Закрыта.