Медленная скорость закачки файлов на vps

Тема в разделе "Администрирование серверов", создана пользователем bork75, 17 авг 2012.

Модераторы: mefish, stooper
  1. bork75

    bork75 The Team

    Регистр.:
    21 июн 2008
    Сообщения:
    1.451
    Симпатии:
    677
    Закачиваю на vps папку 2гб с 1мил. картинок.
    Пользуюсь WinSCP, показал скорость 12-15 кБ\с - время 3 дня
    Перезапустил в 8 потоков, у каждого потока такая же скорость и 2 потока всё время просят приглашение.

    Кроме WinSCP ни с чем плотно не работал.
    Есть у кого опыт работы с разными менеджерами и заливкой большого числа файлов?
    Может, что-то пошустрее будет...

    [​IMG]
     
  2. vgrey

    vgrey Создатель

    Регистр.:
    27 июл 2012
    Сообщения:
    48
    Симпатии:
    15
    Упаковать всю папку в zip, залить одним файлом, потом на VPS распаковать - не вариант?

    ---
     
    bork75 нравится это.
  3. bork75

    bork75 The Team

    Регистр.:
    21 июн 2008
    Сообщения:
    1.451
    Симпатии:
    677
    архивами раньше не заливал.
    В чём там вообще разница, только размер меньше или заливается тоже быстрее?
    Попробовал сделать zip, вышло сообщение, что размер слишком большой для zip, используйте rar
     
  4. vladis1333

    vladis1333

    Регистр.:
    18 июл 2010
    Сообщения:
    587
    Симпатии:
    227
    Упаковывать лучше в архив tar.gz и да разница в скорости при передаче в архиве может быть в десятки раз быстрее.
     
    bork75 нравится это.
  5. zakaji

    zakaji

    Регистр.:
    8 сен 2007
    Сообщения:
    407
    Симпатии:
    171
    попробуйте FileZilla, заливал им недавно 30тыс mp3 на сайт (200Гб), довольно шустро залил, скорость почти не резал, причём лил через sftp root'ом.
     
    bork75 нравится это.
  6. bork75

    bork75 The Team

    Регистр.:
    21 июн 2008
    Сообщения:
    1.451
    Симпатии:
    677
    чем его упаковать в tar.gz и какая разница с тем же rar в плане скорости заливки?

    кстати, под юзером или рутом скорость отличалась?
     
  7. Sergo_Sev

    Sergo_Sev Творец

    Регистр.:
    14 июн 2008
    Сообщения:
    571
    Симпатии:
    187
    Да причем тут скорость заливки и формат архива? Мелкие файлы заливаются пол года т.к. тратиться время на каждое подключение и т.д., большой файл грузится в несколько потоков на максимально возможной скорости. Сжатие тут вообще нет смысла обсуждать т.к. вы не текст архивировать будете, а картики которые почти не сжимаются
    В tar архив (насчет tar.gz не помню, но вроде разницы не будет) на компе можно запаковать через 7zip
    На сервере через ssh можно все сделать командами -
    Запаковка
    tar -zcvf archive.tar.gz directory/

    Распаковка
    tar xvf archive.tar.gz
     
  8. vladis1333

    vladis1333

    Регистр.:
    18 июл 2010
    Сообщения:
    587
    Симпатии:
    227
    Да паковать можно через программу 7zip.
    Tar.gz Отличается тем, что размер будет меньше чем у других, и распаковать как писалось можно 1 командой.
    Rar-a на хостинге по дефолту может и не быть.
     
  9. lift

    lift Читатель

    Заблокирован
    Регистр.:
    1 июл 2007
    Сообщения:
    2.226
    Симпатии:
    1.377
    90 миллионов файлов на 300 гигов устроит? Их не то, что заливать куда-то, их переносить с диска на диск это процедуры на недели времени и если вместо переноса их с диска паковать в архив на другом диске то это уже ощутимо быстрее будет. Причина этого в том, что при переносе файла идет достаточно большое количество вспомогательных операций файловой системы, при работе по сети к ним добавляются еще и сетевые операции по передаче заголовков, начал/окончаний файлов и т.д. Если на переливку 1 файла на 2 гига эти операции повторяются 1 раз, то на 1 миллион файлов в сумме на 2 гига - 1 миллион раз. Вот они и занимают эту кучу времени и скорость из-за этого будет низкой.

    п.с. тайловый кеш чтоль? :)