Чем слить контент с сайта?

Тема в разделе "Софт", создана пользователем roddik, 3 фев 2008.

Статус темы:
Закрыта.
  1. roddik

    roddik Колбаска

    Регистр.:
    26 янв 2007
    Сообщения:
    351
    Симпатии:
    289
    Привет! В общем задача такая: есть какая-то база статей, скажем eioba.com, нужно достать в базу mysql все статьи и соответствующие им категории, сейчас просто качаю оффлайн браузером (кстати, какой из них лучше? teleport pro/ultra - отстой, настроек слишком мало, offline explorer enterprise - в принципе нормально, но настройки не соблюдает (качает со всех доменов, хотя указывал только начальный) и глючит, когда в очереди 50к урлов или около того), потом как-то уже на себя на компе випаршиваю.. скажите, есть ли какой-то софт для этого дела, и как вы при потребности организовываете его? Спасибо!
     
  2. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    Странно, у меня офлайн експлорер ентерпрайс качает только в путь, хоть с одного домена, хоть со многих, хоть с одного каталога, хоть с разных и вообще как угодно, можно заточить под все, кстати в него интегрируется Text Pipe Pro для дальнейшего парсинга.

    Кури маны, где-то мну попадался классный на русском языке, если надо позже могу найти.

    50К урлов не качал.
     
  3. lexesv

    lexesv

    Регистр.:
    15 ноя 2006
    Сообщения:
    219
    Симпатии:
    103
    offline explorer enterprise выкачал 250К страниц. Тормозит по страшному. Но в принципе пашет.
    Настройки соблюдает.
    Кстати поставь фильтры на типы файлов. И там можно фильтры по типу урлов ставить (Фильтры УРЛ -> Имя файла -> Маска).
    Напимер только страницы со словом "article".
     
  4. roddik

    roddik Колбаска

    Регистр.:
    26 янв 2007
    Сообщения:
    351
    Симпатии:
    289
    хм, версия какая у тебя? откуда качал? у меня эта скотина уже за сегодня около 30к левых страниц скачала, вообще на сайте 150к :(

    да ставил я ему все, ставил, чтобы только начальный домен качало, фильтры всякие - без толку, вероятно версия глюканутая у меня
     
  5. lexesv

    lexesv

    Регистр.:
    15 ноя 2006
    Сообщения:
    219
    Симпатии:
    103
    Вот залил на рапиду ту версию что у меня.
    Попробуй может эта подойдёт ;)

    http://rapidshare.com/files/88820643/MetaProducts_Offline_Explorer_Enterprise_4.8.2650_SR1.rar.html
     
    roddik нравится это.
  6. roddik

    roddik Колбаска

    Регистр.:
    26 янв 2007
    Сообщения:
    351
    Симпатии:
    289
    поставил 4.9 версию, вроде нормально:)
     
  7. GLONASS

    GLONASS Писатель

    Регистр.:
    26 фев 2009
    Сообщения:
    0
    Симпатии:
    0
  8. Tomas-R

    Tomas-R Постоялец

    Регистр.:
    19 июл 2007
    Сообщения:
    125
    Симпатии:
    7
    перезалей please
     
  9. bodo797

    bodo797

    Регистр.:
    9 авг 2007
    Сообщения:
    246
    Симпатии:
    288
  10. s-s-r

    s-s-r Писатель

    Регистр.:
    5 фев 2009
    Сообщения:
    0
    Симпатии:
    0
    Телепорт - однозначно
     
Статус темы:
Закрыта.