Сайт виснет во время процесса грабинга

Тема в разделе "NewsGrabber", создана пользователем aaaf, 1 июн 2008.

Статус темы:
Закрыта.
  1. aaaf

    aaaf Создатель

    Заблокирован
    Регистр.:
    14 окт 2007
    Сообщения:
    14
    Симпатии:
    0
    Здравствуйте, уважаемые пользователи NewsGrabber!
    Столкнулся с одной проблемой, что когда идет процесс обновления контента (грабинг), то сайт, на котором стоит граббер не открывается. Как только контент сграбиться – сайт сразу продолжает работать. Все бы ничего, но когда грабиться сразу по 10 новостных лент раз в час… То грабиться все по ~5 минут, и сайт в это время лежит.

    Кто-нибудь сталкивался с этой проблемой, и имеет способы решения?
     
  2. DOLARiON

    DOLARiON

    Регистр.:
    4 сен 2006
    Сообщения:
    191
    Симпатии:
    48
    что-то мне кажется что просто у хостера стоит ограничение либо на кол-во запущенных процессов, либо...
    На самом деле, когда в базе около 100к ньюсов я заметил такую тему что могй Коре2Дуо 3Ггц греется не на шутку... мускуль загружает на 50% систему и на остальные 50% пхп-парсер находит занятия... поэтому у меня парсинг стоит на 5 утра.. .окурат с 5 до 6 утра он успевает со всем справиться...

    Кстати, что за хостер?
     
  3. master6681

    master6681

    Регистр.:
    17 дек 2006
    Сообщения:
    577
    Симпатии:
    124
    Ну так вы сами и назвали причину
    Тоесть все 10 новостных лент грабятся за 5 минут. Что вы еще хотели. У вас просто время стоит одно. Поставьте чтоб каждая лента если у вас их 10 то пусть на каждую идет минут 5-6 и проблем никаких не будет.
     
  4. fermag

    fermag Читатель

    Заблокирован
    Регистр.:
    10 май 2008
    Сообщения:
    0
    Симпатии:
    0
    Новости грабятся какоето время а потом выскакивает ошибка, время каждый раз разное.
     
Статус темы:
Закрыта.