Мне бы книжку как на php создавать скрипты для граббинга и парсинга сайтов.

Тема в разделе "Литература", создана пользователем roland76, 25 дек 2007.

Статус темы:
Закрыта.
Модераторы: Hilo
  1. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    Очень интересует эта тема - создание скриптов на php которые скачивают сайты парсят их, и записывают инфу в базу mySQL.
    Может кто-нибудь даст ссылочки на такие специализированные книжки/пособия.
     
  2. difour

    difour Прохожие

  3. censored!

    censored!

    Регистр.:
    3 авг 2007
    Сообщения:
    293
    Симпатии:
    106
    file_get_contents частенько на хостингах отрублен.
    Поэтому универсальней теми же сокетами.
     
  4. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    А не подскажите, где про это подробней почитать?

    у меня хостинг кстати на godaddy.com, и там file_get_contents действительно отрублен был, но как я сам разобрался достаточно было в php.ini в моей корневой папке заменить
    параметр
    allow_url_fopen = off

    на on, и все заработало.
     
  5. Karlasan

    Karlasan Постоялец

    Регистр.:
    7 дек 2007
    Сообщения:
    77
    Симпатии:
    157
    про сокеты вот топик: http://www.nulled.ws/showthread.php?t=39743
    в моём посте приведена функция для получения файла через сокет. Её несложно модифицировать, добавив например поддержку кукисов, передачу реферера и проч.

    про парсинг страницы, как уже упоминалось - лучше регулярных выражений ничего нет.
    подробнее про это в этом разделе: http://www.nulled.ws/forumdisplay.php?f=218
    и в этом топике: http://www.nulled.ws/showthread.php?t=37178
     
    roland76 нравится это.
  6. AdeQuAte

    AdeQuAte

    Регистр.:
    23 мар 2007
    Сообщения:
    353
    Симпатии:
    45
    Качай исходники и ковыряй. Ищи на форуме... Лучшая книжка это исходник)
     
  7. roland76

    roland76 Постоялец

    Регистр.:
    9 ноя 2007
    Сообщения:
    124
    Симпатии:
    13
    А можно ссылок на исходники с грабберами, если честно искал но не смог найти, или на ресурсы, посвященные этой теме?!
     
  8. difour

    difour Прохожие

    я у себя писал про граббер погоды с яндекса, там самые основы для этого:
    http://difour.org/blog/more/grabber_pogodi_s_yandex_na_php/
     
  9. lobzik

    lobzik

    Регистр.:
    8 авг 2006
    Сообщения:
    311
    Симпатии:
    49
    2roland76
    Кури в сторону curl'а, а потом в сторону curl_multi. С помощью мулти_курла очень быстро и хорошо получается писать разлчные парселки и чекеры.;)
     
Статус темы:
Закрыта.