[PHP] URL адреса всех страниц сайта

Тема в разделе "PHP", создана пользователем Tima111, 15 ноя 2009.

Статус темы:
Закрыта.
Модераторы: latteo
  1. Tima111

    Tima111 Читатель

    Заблокирован
    Регистр.:
    5 июл 2007
    Сообщения:
    218
    Симпатии:
    486
    Нужно узнать URL адреса всех страниц сайта...
    Сначало думал запросом через гугл или яндекс парсить все страницы в выдаче. Но их может там и не быть и парсить можно только по 1000 (результаты выдачи...). Вариант с поисковиками не подходит :(.
    На сайте больше 200тыс. страниц.
    Как это можно сделать средствами PHP?
     
  2. a1ien.n3t

    a1ien.n3t Постоялец

    Регистр.:
    12 июл 2008
    Сообщения:
    52
    Симпатии:
    7
    Ну для начала.
    1) просто так узнать адрес всех страниц просто НЕВОЗМОЖНО )(это негде не храниться.)
    Старница просто генерируеться в зависимости от параметров переданных ей(а способы передачи могут быть разные, от просто GET запроста до куков, сессий, значений в БД...
    2)Единственное что можно сделать это записывать варианты обращения.
    Но врядли что-то это даст.
    В общем случае ответ на ваш вопрос НИКАК.
     
    Tima111 нравится это.
  3. Tima111

    Tima111 Читатель

    Заблокирован
    Регистр.:
    5 июл 2007
    Сообщения:
    218
    Симпатии:
    486
    a1ien.n3t, спасибо.
    Сразу не воспользовался поиском по форуму :(
    Поискал в темах ниже и нашёл десктопную программу, сейчас буду пробовать.
    Ещё нашёл и PHP скрипт, тоже попробую.
    Сюда выложу всё (может кому пригодится:(
    Перейти по ссылке
    Десктопный вариант: Перейти по ссылке
     
  4. Mutant

    Mutant

    Регистр.:
    10 июн 2006
    Сообщения:
    214
    Симпатии:
    71
    Есть десктопная прога (free), предназначенная для аудита всех страниц сайта на предмет ошибок, битых ссылок, etc. Так вот, она замечательно собирает все страницы сайта по уровням вложенности.


    Перейти по ссылке

    Перейти по ссылке
     
    Tima111 нравится это.
  5. _Napster_

    _Napster_ Писатель

    Регистр.:
    21 янв 2008
    Сообщения:
    7
    Симпатии:
    1
    А если попробовать программой типа WebZip или схожей с ней?
     
    Tima111 нравится это.
  6. Tima111

    Tima111 Читатель

    Заблокирован
    Регистр.:
    5 июл 2007
    Сообщения:
    218
    Симпатии:
    486
    Попробовал и скрипт и программу...
    Скрипт вообще не рабочий оказался. Программа сканирует сайт, но очень медленно.
    Mutant, огромное спасибо!
    Это то что я искал. И скорость хорошая.
    _Napster_, спасибо, не пробовал ещё, но тоже скачаю потестирую.
     
Статус темы:
Закрыта.