Парсер всех страниц сайта

Тема в разделе "Софт", создана пользователем myid37, 23 июн 2008.

Статус темы:
Закрыта.
  1. myid37

    myid37 Создатель

    Регистр.:
    4 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    Может кто знает такую утилиту или скрипт.
    Задача такая: Нужно обойти весь сайт по всем ссылкам и с каждой страницы повыдергивать текст из мною указанных тегов (Например<title>-<.title>,<h1>-</h1>).
     
  2. f0x

    f0x Читатель

    Заблокирован
    Регистр.:
    14 май 2008
    Сообщения:
    2
    Симпатии:
    3
    Есть такой парсер - Web Scraper Plus называется
    десктопный софт
     
    Neow15ard и myid37 нравится это.
  3. myid37

    myid37 Создатель

    Регистр.:
    4 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    спасибо f0x:ay:
    Мож кто знает что попроще а то этот Web Scraper весит 52м:)
     
  4. Piflit

    Piflit Создатель

    Регистр.:
    7 июн 2008
    Сообщения:
    24
    Симпатии:
    4
    можно сграббить весть сайт, например teleport pro, а потом пройтись по полученным страницам регуляркой и получить то, что нужно
     
    myid37 нравится это.
  5. myid37

    myid37 Создатель

    Регистр.:
    4 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    А что нибудь более автоматизированное?
    Никому никогда не встречалось?
     
  6. General Fizz

    General Fizz Боевой Генерал :)

    Регистр.:
    11 апр 2007
    Сообщения:
    753
    Симпатии:
    396
    Offline Explorer + TextPipe Pro, настроенное на дергание определенных тегов.

    Далее автоматизировать уже некуда.
     
  7. dyscha

    dyscha Создатель

    Регистр.:
    15 фев 2008
    Сообщения:
    43
    Симпатии:
    12
    Вот это тебе должно помочь:

    Бесплатный парсер ключевиков Пастухова.
    Поройся там в настройках, и сможешь вытаскивать слова и любых тегов.
    http://www.pastukhov.com/keyword-harvester.php
     
    Bulletproof, unnuller и myid37 нравится это.
  8. myid37

    myid37 Создатель

    Регистр.:
    4 июн 2008
    Сообщения:
    19
    Симпатии:
    2
    Спасибо dyscha как раз то что я искал:ay:
     
  9. wadweb

    wadweb Писатель

    Регистр.:
    24 янв 2009
    Сообщения:
    2
    Симпатии:
    1
    Есть еще один профессиональный http://www.screen-scraper.com/ он хоть и платный но выдернуть можно все и сохранить в csv файл, HTML, PHP, ASP, CFML, JAVA
     
    Bulletproof нравится это.
  10. ant1-pa

    ant1-pa

    Регистр.:
    3 ноя 2007
    Сообщения:
    448
    Симпатии:
    96
    самый норм вариант для тебя это будет sibir textmaker он лежит на форуме, есть возможность импорта в самые популярные движки и многое другое
     
Статус темы:
Закрыта.