Неустойчивая (ужасная) производительность дискового ввода-вывода (Debian/Proxmox)

Резюме

Я наблюдаю резкие колебания производительности операций ввода-вывода на зеркале ZFS SSD в Proxmox VE 7 (Bullseye). Я просто слишком новичок, чтобы отследить это самостоятельно.

Подробности

Это ОЧЕНЬ заметно низкая производительность в реальных задачах, так что это не просто искусственные тесты. Но чтобы помочь диагностировать это, я бегу:

sysbench fileio --file-test-mode=rndrw запустить

Он работает «на голом железе» с терминала Proxmox без каких-либо активных виртуальных машин. Результаты сильно различаются. Вот два примера:

Файловые операции:
    чтений/с: 2316,07
    записей/с: 1544,08
    кадров/с: 4949,70

Пропускная способность:
    чтение, МиБ/с: 36,19
    письменный, МиБ/с: 24,13

Общая статистика:
    общее время: 10.0062 с
    общее количество событий: 88040

Задержка (мс):
         мин: 0,00
         среднее: 0,11
         макс: 35,66
         95-й процентиль: 0,65
         сумма: 9947,54

Справедливость тем:
    события (среднее/стандартное отклонение): 88040.0000/0.00
    время выполнения (среднее/стандартное отклонение): 9,9475/0,00

и

Файловые операции:
    чтений/с: 22,60
    пишет/с: 15.07
    кадров/с: 56,98

Пропускная способность:
    чтение, МиБ/с: 0,35
    письменный, МиБ/с: 0,24

Общая статистика:
    общее время: 10,6162 с
    общее количество событий: 877

Задержка (мс):
         мин: 0,00
         среднее: 11,43
         макс: 340,62
         95-й процентиль: 77,19
         сумма: 10020.19

Справедливость тем:
    события (среднее/стандартное отклонение): 877.0000/0.00
    время выполнения (среднее/стандартное отклонение): 10,0202/0,00

Как видите, общее количество событий увеличилось в 10 000 раз, а задержка значительно увеличилась. Эти колебания не являются «разовыми». Он постоянно колеблется между этими крайностями.

Я сделал все возможное, чтобы попытаться сузить круг проблем с оборудованием. Оба SSD совершенно новые со всеми 100 в smartctl. Я заменил кабели SATA. Я запускал его с деградировавшим зеркалом, чтобы попытаться изолировать проблему с одним диском. Я переместил диски на отдельный контроллер SATA. Ничто не дает мне другого результата.

У меня есть второй сервер, настроенный аналогичным образом, но с более старыми (и непревзойденными) SSD в зеркале. Не вижу этой проблемы. Однако серверное оборудование отличается. Плохие результаты дает система, описанная ниже.«Нормальные» кажущиеся результаты получены на старом переделанном ПК с процессором E3-1275v2.

Я надеюсь на советы, которые помогут диагностировать эту проблему. Похоже проблема в задержке. Что может быть причиной этого? Какие следующие шаги мне следует предпринять?

Заранее спасибо!

Система (если это поможет)

• МБ: Supermicro X9DRi-F
• Процессор: двойной Xeon E5-2650 v2
• Оперативная память: 128 ГБ (8 x 16 ГБ)
• Контроллеры SATA: встроенный SATA 3 (также тестировался отдельный SATA 2)
• SSD: 2x 1 ГБ TeamGroup SATA (да, дешево, но должно подойти)
• Карты PCIe:
  • Мелланокс MCX312B
  • LSI SAS9207-8i (адаптер HBA подключен к 8 несмонтированным дискам... передан на виртуальную машину)
  • Nvidia GTX 750 (перенесено на виртуальную машину)

Нечто подобное произошло со мной вчера с моей новой установкой: Proxmox VE 7 на Intel 11500 с 32 ГБ ОЗУ и 2x SSD Crucial BX500 (это потребительский уровень), настроенный как зеркало ZFS.

Я сделал тест, используя дд чтобы записать 1 ГБ нулей на SSD, и он работал со скоростью 5 МБ / с (я знаю дд это не хорошо для бенчмаркинга, но все же...). Во время бенчмарка, йостат была загружена на 100%. В моем случае я решил проблему с производительностью, обрезав SSD. Вы можете заставить его использовать zpool отделка rpool и вы можете включить автообрезку с помощью zpool установить autotrim=on rpool. После обрезки дисков я снова запустил тест, и он работал за 7 с (153 МБ/с).

В процессе, чтобы найти, как улучшить производительность, я установил xattr к са как это рекомендуется в Проксмокс вики и я настроил zfs_arc_min/zfs_arc_max и другие параметры ядра.

Я надеюсь, что это работает и для вас.