Производительность ZFS: Чрезвычайно низкая скорость записи

У меня небольшой домашний сервер. Характеристики:

• Процессор: AMD Райзен 5 2600
• Оперативная память: 32 ГБ ECC
• Системный диск: 128 ГБ NVMe SSD
• Диски данных: 3 жестких диска Seagate Barracuda по 4 ТБ

На сервере работают некоторые приложения, такие как Nextcloud или Gitea, и я хочу запустить на нем 1-2 виртуальные машины. Итак, есть некоторые веб-приложения, базы данных и виртуальные машины.

Приложения и образы qcow2 хранятся в пуле raidz1:

$ статус sudo zpool
  бассейн: танк
 состояние: ОНЛАЙН
конфигурация:

        ИМЯ СОСТОЯНИЕ ЧТЕНИЕ ЗАПИСЬ CKSUM
        бак ОНЛАЙН 0 0 0
          raidz1-0 ОНЛАЙН 0 0 0
            sdb ОНЛАЙН 0 0 0
            sdc ОНЛАЙН 0 0 0
            sdd ОНЛАЙН 0 0 0

ошибки: Нет известных ошибок данных

Когда я использовал приложения в первые недели, у меня не было проблем. Но через несколько недель я понял крайне низкие скорости записи. Экземпляр nextcloud не очень быстрый, и когда я пытаюсь запустить новую виртуальную машину с Windows 10, ей требуется около 5 минут, чтобы перейти к экрану входа в систему.

Я провел некоторое тестирование производительности, используя фио и получил следующие результаты:

Прежде чем опубликовать здесь, я провел небольшое исследование и прочитал, что мне следует добавить SLOG в пул zfs для повышения производительности с базами данных и виртуальными машинами. Но это не вариант на данный момент. Мне нужно сначала получить рождественские подарки :D

Но даже без SLOG я не считаю эти цифры правильными :(

У кого-нибудь есть идея? :)

As a first-order approximation raidz provides the random performances of a single disk, which for a 7.2K HDD are about 70 IOPS. Your test shows 50% less IOPS (ie: ~30 vs ~70) and this can be explained with the relatively large recordsize you selected.

Especially for random writes, any recordsize larger than 4KB is going to face considerable read/modify/write penalty. Please note that I am not advocating for using such a small recordsize on mechanical disks as it commands a very high metadata overhead, high fragmentation and (almost) no compression. As a reference, when using HDDs I leave the default (128KB) recordsize even for virtualization hosts.

You can do the following to improve performance:

• use mirror vs raidz where applicable (but you only have 3 disks, preventing the use of mirroring+striping)
• use RAW image files rather than QCOW2 (if QCOW2 files really are required, be sure to preallocate their metadata)
• try setting sync=disabled (but be sure to understand that in case of sudden power loss your system will lose up to 5s of written data)