Регистрация Войти
Рейтинг:0
avatar Server

Самый быстрый способ локального копирования файлов в Linux

флаг in
grandrew

Поэтому из соображений производительности я решил переместить 2 ТБ небольших файлов, случайно записанных в течение некоторого времени — с жесткого диска SATA емкостью 14 ТБ на твердотельный накопитель NVME емкостью 4 ТБ m.2, оба подключены локально.

Я боролся за 2 дня подряд, чтобы получить разумную производительность копирования.

ср получает ~ 15 МБ / с, что дает мне оценку около двух дней непрерывного копирования

rsync еще хуже при ~ 5 МБ / с

Я предполагаю, что низкая производительность связана со случайным физическим расположением на тарелке, что приводит меня к оценкам производительности «случайного чтения».

Тем не менее, я почти уверен, что эти 2 ТБ файлов являются полунепрерывной областью диска на 14 ТБ, так что просто ддИспользование этого региона даже с 20-процентным «промахом» даст мне скорость последовательного чтения, близкую к 200 МБ/с.Я просто «выброшу» ненужные мне файлы, но я не могу найти никакого программного обеспечения/метода, который сделал бы это таким образом.

Мой вопрос: как быстрее всего копировать файлы локально в 2021 году?

338
1 + 0
Рейтинг:1
Gediz GÜRSU avatar Server
флаг in
Gediz GÜRSU

Нет, это не из-за фрагментации, маленькие файлы на механическом диске копируются очень медленно. Лучше подождать. На этот раз никакой волшебной палочки.

0 + 1
флаг in
grandrew
Насколько я могу судить, есть несколько решений, которые намного быстрее, чем `cp` и `rsync`: [gcp](http://manpages.ubuntu.com/manpages/bionic/man1/gcp.1.html), [parcp](https://blogs.oracle.com/cloud-infrastructure/announcing-parallel-file-tools-for-file-storage), [parallel](https://www.gnu.org/software/parallel /), [fpsync](https://github.com/martymac/fpart), [Mutil](https://github.com/pkolano/mutil) и копирование файлов является [известной проблемой в linux](https: //lwn.net/Статьи/789623/)
0
Ответить
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.