[PHP] URL адреса всех страниц сайта

Тема в разделе "PHP", создана пользователем Tima111, 15 ноя 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. Tima111

    Tima111 Читатель

    Заблокирован
    Регистр.:
    5 июл 2007
    Сообщения:
    218
    Симпатии:
    486
    Нужно узнать URL адреса всех страниц сайта...
    Сначало думал запросом через гугл или яндекс парсить все страницы в выдаче. Но их может там и не быть и парсить можно только по 1000 (результаты выдачи...). Вариант с поисковиками не подходит :(.
    На сайте больше 200тыс. страниц.
    Как это можно сделать средствами PHP?
     
  2. a1ien.n3t

    a1ien.n3t Постоялец

    Регистр.:
    12 июл 2008
    Сообщения:
    52
    Симпатии:
    7
    Ну для начала.
    1) просто так узнать адрес всех страниц просто НЕВОЗМОЖНО )(это негде не храниться.)
    Старница просто генерируеться в зависимости от параметров переданных ей(а способы передачи могут быть разные, от просто GET запроста до куков, сессий, значений в БД...
    2)Единственное что можно сделать это записывать варианты обращения.
    Но врядли что-то это даст.
    В общем случае ответ на ваш вопрос НИКАК.
     
    Tima111 нравится это.
  3. Tima111

    Tima111 Читатель

    Заблокирован
    Регистр.:
    5 июл 2007
    Сообщения:
    218
    Симпатии:
    486
    a1ien.n3t, спасибо.
    Сразу не воспользовался поиском по форуму :(
    Поискал в темах ниже и нашёл десктопную программу, сейчас буду пробовать.
    Ещё нашёл и PHP скрипт, тоже попробую.
    Сюда выложу всё (может кому пригодится:(
    PHP вариант, leech.zip от участника этого форума: Juri
    Десктопный вариант: SiteMapG, спасибо за подсказку mrr
     
  4. Mutant

    Mutant

    Регистр.:
    10 июн 2006
    Сообщения:
    214
    Симпатии:
    71
    Есть десктопная прога (free), предназначенная для аудита всех страниц сайта на предмет ошибок, битых ссылок, etc. Так вот, она замечательно собирает все страницы сайта по уровням вложенности.


    http://home.snafu.de/tilman/xenulink.html

     
    Tima111 нравится это.
  5. _Napster_

    _Napster_ Писатель

    Регистр.:
    21 янв 2008
    Сообщения:
    7
    Симпатии:
    1
    А если попробовать программой типа WebZip или схожей с ней?
     
    Tima111 нравится это.
  6. Tima111

    Tima111 Читатель

    Заблокирован
    Регистр.:
    5 июл 2007
    Сообщения:
    218
    Симпатии:
    486
    Попробовал и скрипт и программу...
    Скрипт вообще не рабочий оказался. Программа сканирует сайт, но очень медленно.
    Mutant, огромное спасибо!
    Это то что я искал. И скорость хорошая.
    _Napster_, спасибо, не пробовал ещё, но тоже скачаю потестирую.
     
Статус темы:
Закрыта.