Грабит с копиями

Тема в разделе "NewsGrabberJC", создана пользователем MeN, 27 май 2008.

Статус темы:
Закрыта.
  1. MeN

    MeN Писатель

    Регистр.:
    18 май 2007
    Сообщения:
    5
    Симпатии:
    0
    NewsGrabberJC грабит новости с сайта Перейти по ссылке с копиями, т.е. по две одинаковые новости...
    кто-нибудь может подсказать нормальные настройки?
     
  2. mehanic

    mehanic Писатель

    Регистр.:
    4 апр 2007
    Сообщения:
    1
    Симпатии:
    29
    Где-то тут вроде было. Хз что это. говорят, помогает снизить количество новостей за один проход + развести ленты на разное время граббинга. Типа сервер не справляется с нагрузкой.
     
  3. cat33

    cat33 Создатель

    Регистр.:
    27 дек 2007
    Сообщения:
    17
    Симпатии:
    2
    Да, действительно грабит с некоторых (не со всех!) сайтов по два раза одну и ту же новость. Очень часто так-же грабит только новость и заголовок, а тела новости нет. После удаления этой новости из админки, и повторного запуска парсинга та же новость парсится нормально (полностью).
    Разработчик скрипта предлагает развести время грабинга различных лент. Я так и поступил. В 10 лентах сделал интервал парсинга от 30 до 240 минут, время запуска automaticimport.php в кроне поставил 10 минут, однако по прежнему все ленты парсятся в одно и то-же время... соответственно вылазят неприятные симптомы описанные мной чуть выше в этом посте.

    Вопрос:
    У кого получилось разнести по времени парсинг лент? Приведите пример настройки.
     
  4. mehanic

    mehanic Писатель

    Регистр.:
    4 апр 2007
    Сообщения:
    1
    Симпатии:
    29
    У меня. Причем точь в точь как ты описал. Все нормально работает. Симптомы дублирования не наблюдаю. У меня, правда, навороченный арендуемый. Я там один.
     
  5. cat33

    cat33 Создатель

    Регистр.:
    27 дек 2007
    Сообщения:
    17
    Симпатии:
    2
    Сколько лент в ньюсграббере, и какая скорость канала интернет?
     
  6. mehanic

    mehanic Писатель

    Регистр.:
    4 апр 2007
    Сообщения:
    1
    Симпатии:
    29
    Около десяти. Канал шире некуда.
     
  7. softsp

    softsp Постоялец

    Регистр.:
    30 янв 2008
    Сообщения:
    74
    Симпатии:
    19
    попробуйте уменьшить количество одновременно импортируемых лент в настройках ленты
     
  8. cat33

    cat33 Создатель

    Регистр.:
    27 дек 2007
    Сообщения:
    17
    Симпатии:
    2
    Ответ конечно хороший, но там такого параметра нет. Есть параметр в котором указывается время, через которое будет парситься лента...
     
  9. cat33

    cat33 Создатель

    Регистр.:
    27 дек 2007
    Сообщения:
    17
    Симпатии:
    2
    Как известно, скрипт позволяет грабить до 15 новостей с сайта за 1 запуск парсинга. Так вот, обратил внимание, что дубли бывают на тех лентах, где этот параметр выставлен по максимуму (15). У меня, на тех лентах где стоит парсить по 5 новостей, дублей нет!

    Вообщем буду играть с настройками далее... о результатах отпишусь позже.
     
  10. cheluskin

    cheluskin Постоялец

    Регистр.:
    12 апр 2008
    Сообщения:
    52
    Симпатии:
    8
    У меня и на трёх новостях дубли , но почемуто только на лентах rbc
     
Статус темы:
Закрыта.