Релиз Модули студии sotbit, shs

[Alex OP]

Значит еще какие настройки сервера.
Парсил недавно, - такой ошибки не было, ..было сам браузер выпадал с ошибкой но не парсер.
Мои конфиги, подсунь серверу и перегрузи

Спасибо, но не помогло...

Это xml или парсинг постраничный?

Это парсинг каталога постранично

 

[v_dog]

это хуже, но это все и объясняет, грузится несколько десятков тысяч товаров со свойствами и картинками и т.д. вот он и валится

 

[Alex OP]

это хуже, но это все и объясняет, грузится несколько десятков тысяч товаров со свойствами и картинками и т.д. вот он и валится

там в данный момент не более 500 наименований товара, из категории с которой парсится это 130 наименований

 

[shake1]

500 это ерунда для парсера, парсил 15000 за 3 захода, и то, - потому что браузер падал.

 

[v_dog]

Согласен, 500 это вообще ни о чем, должен просто пролетать
В настройках инфоблока попробуй отключить
Индексировать элементы для модуля поиска:

 

[shake1]

еще
memory_limit надо здесь выставлять
/etc/php.d/bitrixenv.ini
bitrixenv.ini перекрывает php.ini, а там по умолчанию 256 стоит

 

[Alex OP]

Согласен, 500 это вообще ни о чем, должен просто пролетать
В настройках инфоблока попробуй отключить
Индексировать элементы для модуля поиска:

Отключено, не помогло

еще
memory_limit надо здесь выставлять
/etc/php.d/bitrixenv.ini
bitrixenv.ini перекрывает php.ini, а там по умолчанию 256 стоит

К сожалению тоже безрезультатно, хотя есть подозрение что может быть всетаки чтото с виртуальным окружением битрикс, сейчас попробую развернуть на другом хостинге и попробую там

Перенос сайта на новый VPS проблему не решил, странно как-то все, если честно я не могу понять откуда он может напарсить гиг контента На доноре установлено решение Электросила, может это как-то с этим связано???

Всем спасибо за помощь, но прошу не кидать в меня тапками, при настройке парсера просто не указал "Селектор-атрибут пункта навигации:" в этом и вся проблема

 

[nikander]

Хотел узнать, как парсить большое количество товара? У меня парсер 2-3 страницы отработает и виснет. Нужно спарсить порядка 10к товаров, но порциями по 100-200 товаров это не реально. В данный момент сайт перенес на виртуальную машину битрикса, сайт работает отлично, парсер тупит.

 

[Abix]

Хотел узнать, как парсить большое количество товара?

Точно не этим г**, возьмите Content Downloader хотябы, ну или сами пишите скрипт через phpquery.

 

[mrLom]

Точно не этим г**, возьмите Content Downloader хотябы, ну или сами пишите скрипт через phpquery.

Да, это г** очень зависимо к ресурсам, если их ограничено, то будете ловить косяки. Впрочем на 16 гигах оперативки все было более менее стабильно