Для чего нужна индексация при заливе на mail.ru? 23 дня ада

Тема в разделе "Мегафлуд", создана пользователем pravus, 3 июн 2015.

  1. pravus

    pravus

    Регистр.:
    21 фев 2013
    Сообщения:
    334
    Симпатии:
    227
    Скорость индексации каждого файла насколько я вижу - файл в секунду! У меня 2 миллиона файлов!
    Я посчитал надо примерно 23 дня что бы залить эти жалкие 750 гигов на облако mail.ru...
    Есть ли более быстрый вариант? Для чего индексировать перед заливкой? Нужен Кольт!
     
  2. unkn0wn

    unkn0wn

    Регистр.:
    22 дек 2006
    Сообщения:
    163
    Симпатии:
    86
  3. pravus

    pravus

    Регистр.:
    21 фев 2013
    Сообщения:
    334
    Симпатии:
    227
    если бы он еще работал... они его несколько лет "тестируют"...
     
  4. latteo

    latteo Эффективное использование PHP, MySQL

    Moderator
    Регистр.:
    28 фев 2008
    Сообщения:
    1.450
    Симпатии:
    1.244
    а зачем тебе именно 2 миллиона файлов? Заархивируй в пару сотен архивов и будет счастье :) Если повезёт еще и место сэкономишь ;)
     
  5. pravus

    pravus

    Регистр.:
    21 фев 2013
    Сообщения:
    334
    Симпатии:
    227
    я так хотел - но закатка в tar без сжатия или zip с быстрым сжатием и тома по гигабайту - вечность тоже! Я все проклил...
     
  6. unkn0wn

    unkn0wn

    Регистр.:
    22 дек 2006
    Сообщения:
    163
    Симпатии:
    86
    Ну тогда либо распихивать по архивам, либо запустить десяток виртуалок, из-под них залить по 100Гб на левые акки, а с них уже сохранить на свой акк.
     
  7. latteo

    latteo Эффективное использование PHP, MySQL

    Moderator
    Регистр.:
    28 фев 2008
    Сообщения:
    1.450
    Симпатии:
    1.244
    И всё же это должно быть быстрее, чем заливка на диск по одному. И прикиньте что будет если вам это придётся выкачивать обратно - это будет еще 23 дня ... в лучшем случае ...
    zip или gz формат повсеместно применяется в http серверах и браузерах, поскольку они могут сжимать практически со скоростью передачи по сети с минимальной нагрузкой проца.
    А ваши тормоза из-за количества файлов и сжатием вы инвестируете в дальнейшую работу с этим массивом данных.
     
    pravus нравится это.