Ищу Скачивания и сохранения веб страниц

alex-bot

Nulled-Man
Регистрация
4 Май 2007
Сообщения
497
Реакции
161
Нужен любой скрипт которому на вход дам адреса URLs на выходе файлы страниц... можно однопоточный и без поддержки прокси...
 

ЗЫ: Поэтому и ищу что попроще, чтоб без всяких инструкций...
 
Взялся за изучение Content Downloader, благо даже лицензия есть, а надобности до сих пор не было впечатления супер, мега крутой парсер...
 
Во FlashGet скармливаеш текстовик со скиском урлов, он выкачивет все в 8 потоков. Тормозит правда если списки больше 5-10 тысяч, но до полумиллиона справляется точно. Если больше то можно текстовик на части порезать и скормить в несколько заходов + можно программу в разные папочки положить и независимо запускать.
Может по маске сам сгенерить список урлов через меню "пакетное задание"
 
Если не критично именно скрипт, то годится wget с параметром -i. Если нужно с картинками и материалами до любого уровня вглубь, то c параметрами -r --level=
Есть под Windows, есть под X, работает со списком файлов и тд.
 
А я wget'ом так и не научился пользоваться :confused: когда нужно было, пользовал телепорт и ещё какую-то програмулину...
 
httrack website copy.v google.super proga
 
Назад
Сверху