Импорт csv в mysql - готовый модуль

Тема в разделе "PHP", создана пользователем Zacker2, 22 июн 2016.

Статус темы:
Закрыта.
Модераторы: latteo
  1. Zacker2

    Zacker2

    Регистр.:
    19 фев 2013
    Сообщения:
    243
    Симпатии:
    66
    Ищу готовый модуль для импорта csv в mysql желательно под yii2.

    1. Возможность для пользователя указывать таблицы (какой товар в какой таблице находить)
    пример:
    Название - (A)
    Штрихкод - (B)
    Производитель (C)
    и.т.д.

    2. Нужен индикатор прогресса загрузки (импорта) csv.
    на гитхабе не смог найти.

    Прошу помочь с протестированными вариантами, csv объемные, до 5 млн. таблиц в каждом csv.
     
    Rombol нравится это.
  2. ZiX

    ZiX Коддинг, Парсинг

    Регистр.:
    9 июл 2011
    Сообщения:
    1.377
    Симпатии:
    584
    ишь ты ! и индикатор! И под твою бд! всё думаешь готово?))
    НужнО писать.
    Если только у вас какой-то готовый вариант...
     
  3. Zacker2

    Zacker2

    Регистр.:
    19 фев 2013
    Сообщения:
    243
    Симпатии:
    66
    Под мой бд не нужно )) эт я уже сам)) пост на тот случай, если у кого готовый завалялся, буду приемного благодарен )
     
  4. ZiX

    ZiX Коддинг, Парсинг

    Регистр.:
    9 июл 2011
    Сообщения:
    1.377
    Симпатии:
    584
    такое врядли есть готовое... там дел то на пол часа...
    Мануалов по ajax дофига :)
    И по таким ситуациям были... по прогресс. итд. ищи гуглом
     
  5. Zacker2

    Zacker2

    Регистр.:
    19 фев 2013
    Сообщения:
    243
    Симпатии:
    66
    А если серьезно, страх в объемности файлов, поэтому нужен протестированый вариант, чтобы сервер не загубить...
    Если кого-то индикатор смущает, то годиться и без, добавить не сложно...

    P.S. Если до вечера не найдется, сяду писать, но надеюсь кто-то уже изучил детали...
     
    Последнее редактирование: 22 июн 2016
  6. ZiX

    ZiX Коддинг, Парсинг

    Регистр.:
    9 июл 2011
    Сообщения:
    1.377
    Симпатии:
    584
    Не загубишь... я например изза лени щас 4ляма записей перегоняю в бд при этом производя расчёты и разбивая на таблицы и каждый проход foreach проверяя данные на совпадение в 2х таблицах в которых и так по ляму :)
    и ничо... временно конечно поднял до 4 ядер и 3г оперативы... но сносно... уже часов 30 процесс.
    Многопоточность мне ненужна... противопоказана.

    А тот же ajax писать и каждый раз дёргать csv это ппц...
    Хранить данные в сессии тоже...
    Можно попробовать в оперативе...
    мемкеш. Чтото я не подумал...
     
  7. Zacker2

    Zacker2

    Регистр.:
    19 фев 2013
    Сообщения:
    243
    Симпатии:
    66
    https://github.com/moonlandsoft/yii2-phpexcel - Установил этот экстеншн, все работало нормально с файлами не более 1mb, пока не попробовал импортировать excel файл объемом 7mb. В результате комп завис, пришлось перезагружаться, и так при каждой попытке...
     
  8. latteo

    latteo Эффективное использование PHP, MySQL

    Moderator
    Регистр.:
    28 фев 2008
    Сообщения:
    1.609
    Симпатии:
    1.538
    https://toster.ru/q/322376 - Генераторы (yield) в php
    Хотя можно и без yield, просто через fgetcsv
     
  9. javx

    javx

    Регистр.:
    28 авг 2015
    Сообщения:
    526
    Симпатии:
    252
  10. Zacker2

    Zacker2

    Регистр.:
    19 фев 2013
    Сообщения:
    243
    Симпатии:
    66
    Можно Вас попросить написать любой пример кода, который сможет импортировать excel файл размером 7mb в mysql...
    На данном этапе использовать мемкеш рановато, так как мой комп зависает когда пытается вытащить из excel информацию, а не при обработке ее в базе...

    При выполнении этой части кода происходит зависание:
    PHP:
    $objectPhpExcel $objectreader->load($fileName);
    P.S. касается только объемных файлов, файлы до 1mb импортируются без проблем...
    Относительно советов грузить построчно, то просьба показать пример!
     
    Последнее редактирование: 29 июн 2016
Статус темы:
Закрыта.