Нагрузить локальный сервер по полной

Тема в разделе "Администрирование серверов", создана пользователем RedRabbit, 12 ноя 2014.

Модераторы: mefish, stooper
  1. RedRabbit

    RedRabbit

    Регистр.:
    11 июл 2008
    Сообщения:
    608
    Симпатии:
    251
    Есть WordPress, есть необходимость в заливке xml большого размера - 200 мб.
    (бекапов таких много, разбивка на мелкиие партии по 5мб не уменьшает время выполнения, xml rpc не предлагайте т.к. много потоков умирает по таймауту, а я хочу загрузить все )
    Поставил Open Server.
    На борту имеем:
    Windows 7 Ultimate Edition Service Pack 1 x64
    Intel Core i7 2600K memory 8 gb
    Apache 2.2
    PHP 5.3.28
    MySQL-5.5

    Не могу нагрузить процессор по полной, вообще не выходит. Апач и муск грузят по 1-3 % и то одно ядро походу.
    В 13-00 поставил заливаться, до сих пор загружается 22-35 :(
    Что было сделано, вот конфиги (может и где ошибся поправьте:(
    Конфиги ниже.
     

    Вложения:

  2. vgrey

    vgrey Создатель

    Регистр.:
    27 июл 2012
    Сообщения:
    48
    Симпатии:
    15
    При очень поверхностном просмотре бросается в глаза
    innodb_buffer_pool_size = 20M
    что явно маловато для Ваших "memory 8 gb" и "xml большого размера - 200 мб". Поставьте, для начала, хотя бы в 1G.

    В качестве совета: заремьте ВСЕ строки типа innodb_* , кроме innodb_buffer_pool_size = 1G

    Непонятно совсем другое: Apache, PHP, MySQL - разрабатывались и вылизывались под unix-like платформы. В чем глубокий смысл заставлять их работать на отличной от родной платформе? Не, я ничего против win не имею, у нее есть своя ниша, где она бесспорный лидер. Но эта ниша не относится к работающим у Вас приложениям. Другое дело, если бы речь шла о IIS, ASP.NET, MSSQL.
     
    RedRabbit нравится это.
  3. RedRabbit

    RedRabbit

    Регистр.:
    11 июл 2008
    Сообщения:
    608
    Симпатии:
    251
    Да что то не доглядел, спасибо, такие дела после чтения кучи документаций:
    Немного помогло чтение my-innodb-heavy-4G.cnf
    Мускл разросся до 25 гигов и до сих пор пока растет , но скорость радует, почти в 3 раза быстрее, сначала в раз 40 раз, но с течением времени скорость падает :) После моих истязаний. Еще буду тестировать, чтобы загрузить на 50-70%.
    UPD
    До конца к сожалению не догрузилось:( С 16-40 до 22-25 делалось. XML файл 234 mb. 37 000 постов.
    Fatal error: Out of memory (allocated 765198336) (tried to allocate 4891071 bytes)

    Возможно кому то пригодятся мои конфиги по настройке для denwer, чтобы загрузить хотя бы на 20% свой комп. И заливать большие бекапы для Wordpress
    Apache
    ThreadsPerChild 150

    Мускл и пыха ниже.

    Почему не делаю на серваке или VDS/VPS - скорость и трафик.

    UPDATE
    Немного поправил под OPEN SERVER, отказался от innodb, теперь файл весом 100 мб и кол-вом постов 12000 загружается за 10 мин!!! Вы бы видели какая скорость загрузки страниц, как будто не php , а html открываю.
     

    Вложения:

    • mysql.txt
      Размер файла:
      1,7 КБ
      Просмотров:
      2
    • php.txt
      Размер файла:
      5 КБ
      Просмотров:
      1
    • config-open-server.zip
      Размер файла:
      10,9 КБ
      Просмотров:
      0
    Последнее редактирование: 14 ноя 2014
  4. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    832
    Симпатии:
    488
    а почему вы уперлись именно в импорт xml? делается двойная работа, сначала загружаете файл, затем движок пишет в базу. почему не убрать лишние шаги и не писать в базу напрямую?
     
  5. RedRabbit

    RedRabbit

    Регистр.:
    11 июл 2008
    Сообщения:
    608
    Симпатии:
    251
    Не так то и просто писать на прямую в wordpress, а WP не простой, а MU. Очень много сложностей. Надо полностью понимать структуру БД, у постов есть много параметров, которые надо раскидать по разным таблицам, ну и что самое тягостное написать конвертер xml файла в dump, а на это уйдет не одна неделя.
    Ну и сейчас в принципе проблема решена, загрузка дампа занимает 1 час, размером 220мб, и количеством постов 37000. Но лучше дапм делить на части 25-50 мб, т.к. по непонятной мне причине, через час работы, начинаются тормоза и процесс идет все медленней. А в логах ошибки таймаута.
     
  6. efs

    efs SEO оптимизатор дискрипторов одностраничных сайтов

    Moderator
    Регистр.:
    20 ноя 2009
    Сообщения:
    832
    Симпатии:
    488
    ну тут исключительно вопрос целесообразности и стоимости вашего времени. по поводу MU не скажу, а в обычный WP писал конвертер базы от DLE, и ничего, работало. на все ушло два дня вдумчивого гуления. на фрилансе подобное наваяют баксов за 20-30 в течение пары часов.
    з.ы. ну и заглянуть в гугл с "wordpress xml to database converter"