AWS i3en.3xlarge действительно мало операций ввода-вывода в секунду

Я только что запустил новый экземпляр ec2 типа i3en.3xlarge. Операционная система — Ubuntu. Я смонтировал хранилище экземпляров NVMe, но каждый тест скорости, который я запускаю, невероятно низок — около 7 тыс. операций ввода-вывода в секунду. Что я делаю не так?

Вот шаги, которые я сделал:

1) Проверьте доступные ssd с помощью nvme -list:

---------------- -------------------- ---------------------------- -------------------------- --------- --------------- ----------- ---------------- --------
/dev/nvme0n1 vol012301587a8724842 Amazon Elastic Block Store 1 8,59 ГБ / 8,59 ГБ 512 Б + 0 Б 1,0     
/dev/nvme1n1 AWS16AAAC6C7BFAC4972 Хранилище инстансов Amazon EC2 NVMe 1 7,50 ТБ / 7,50 ТБ 512 Б + 0 Б 0

2) создайте новую файловую систему xfs для nvme1n1:

sudo mkfs -t xfs /dev/nvme1n1

3) смонтировать в /home

sudo mount /dev/nvme1n1 /home

4) проверить df -h:

    ubuntu@ip-172-31-35-146:/home$ df -h
Используемый размер файловой системы Доступно Использование % Установлено на
/dev/root 7.7G 2.8G 4.9G 37%/
devtmpfs 47G 0 47G 0% /dev
tmpfs 47G 0 47G 0% /dev/shm
tmpfs 9.4G 852K 9.4G 1%/запуск
tmpfs 5.0M 0 5.0M 0% /выполнить/заблокировать
tmpfs 47G 0 47G 0% /sys/fs/cgroup
/dev/loop0 25M 25M 0 100% /snap/amazon-ssm-agent/4046
/dev/loop3 43M 43M 0 100% /snap/snapd/14066
/dev/loop2 68M 68M 0 100% /snap/lxd/21835
/dev/loop1 56M 56M 0 100% /snap/core18/2284
/dev/loop4 62M 62M 0 100% /snap/core20/1242
/dev/loop6 56M 56M 0 100% /snap/core18/2253
/dev/loop5 44M 44M 0 100% /snap/snapd/14549
/dev/loop7 62M 62M 0 100% /snap/core20/1328
tmpfs 9.4G 0 9.4G 0% /выполнить/пользователь/1000
/dev/nvme1n1 6,9T 49G 6,8T 1% /домашний

5) запустить тест с помощью fio:

fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Rand_Read_Testing

Результаты Фио:

фио-3.16
Запуск 1 процесса
Rand_Read_Testing: Разметка файла IO (1 файл / 1024МиБ)
Задания: 1 (f=1): [r(1)][100,0%][r=28,5 МБ/с][r=7297 IOPS][эта 00 м:00 с]
Rand_Read_Testing: (groupid = 0, jobs = 1): err = 0: pid = 1701: сб, 29 января, 22:28:17 2022
  чтение: IOPS = 7139, BW = 27,9 МБ/с (29,2 МБ/с) (1024 МБ/36717 мс)
    планка (нсек): мин.=2301, макс.=39139, среднее=2448,98, стандартное отклонение=311,68
    clat (usec): мин.=32, макс.=677, среднее=137,06, стандартное отклонение=26,98.
     широта (usec): мин.=35, макс.=680, среднее=139,59, стандартное отклонение=26,99.
    процентили клата (usec):
     | 1.00=[35], 5.00=[99], 10.00=[100], 20.00=[124],
     | 30.00=[ 125], 40.00=[ 126], 50.00=[ 139], 60.00=[ 141],
     | 70.00=[ 165], 80.00=[ 167], 90.00=[ 169], 95.00=[ 169],
     | 99,00 = [ 172], 99,50 = [ 174], 99,90 = [ 212], 99,95 = [ 281],
     | 99,99=[ 453]
   bw (КиБ/с): минимум = 28040, максимум = 31152, per = 99,82%, среднее значение = 28506,48, стандартное отклонение = 367,13, образцы = 73
   IOPS: мин. = 7010, макс. = 7788, среднее = 7126,59, стандартное отклонение = 91,80, образцы = 73
  лат (усек): 50 = 1,29%, 100 = 9,46%, 250 = 89,19%, 500 = 0,06%, 750 = 0,01%
  процессор: usr=1,43%, sys=2,94%, ctx=262144, majf=0, minf=12
  Глубина ввода-вывода: 1=100,0%, 2=0,0%, 4=0,0%, 8=0,0%, 16=0,0%, 32=0,0%, >=64=0,0%
     отправить: 0=0,0%, 4=100,0%, 8=0,0%, 16=0,0%, 32=0,0%, 64=0,0%, >=64=0,0%
     завершено: 0=0,0%, 4=100,0%, 8=0,0%, 16=0,0%, 32=0,0%, 64=0,0%, >=64=0,0%
     выпущено rwts: всего=262144,0,0,0 коротко=0,0,0,0 удалено=0,0,0,0
     задержка: цель = 0, окно = 0, процентиль = 100,00%, глубина = 1

Выполнить группу состояния 0 (все задания):
   ЧТЕНИЕ: bw=27,9МБ/с (29,2МБ/с), 27,9МБ/с-27,9МБ/с (29,2МБ/с-29,2МБ/с), io=1024МБ (1074МБ), run=36717-36717мс

Статистика диска (чтение/запись):
  nvme1n1: ios=259894/5, слияние=0/3, тики=35404/0, in_queue=35404, использование=99,77%

По таким показателям, как здесь производительность iops должна быть намного лучше.

Так я что-то пропустил здесь?

заранее спасибо

Благодаря ответу @ shearn89 и поддержке aws я понял, что проблема в том, как я провел тест fio.

Вот что AWS сказал мне:

Начнем с того, что тип экземпляра i3.4xlarge имеет указанное количество операций ввода-вывода в секунду для чтения/записи, равное 825 000 и 360 000 соответственно [1].Такую производительность IOPS можно получить, используя блоки размером до 4 КБ и при насыщении очереди по глубине.

Длина очереди тома — это количество ожидающих запросов ввода-вывода для устройства. Оптимальная длина очереди различается для каждой рабочей нагрузки, в зависимости от чувствительности вашего конкретного приложения к IOPS и задержке. Если ваша рабочая нагрузка не обеспечивает достаточного количества запросов ввода-вывода, чтобы полностью использовать производительность, доступную для вашего тома EBS, ваш том может не обеспечивать IOPS или пропускную способность, которые вы предоставили [2].

Чтобы определить оптимальную длину очереди для вашей рабочей нагрузки на томах с поддержкой SSD, мы рекомендуем установить целевую длину очереди, равную 1 на каждые 1000 доступных операций ввода-вывода в секунду [3]. Увеличение длины очереди полезно до тех пор, пока вы не достигнете заданного значения IOPS, пропускной способности или оптимальной длины системной очереди, которая в настоящее время установлена ​​на 32. Дополнительные сведения о глубине очереди см. в этих сторонних статьях, в которых этот термин объясняется очень подробно. [4][5][6].

Чтобы воспроизвести вашу проблему, я запустил экземпляр того же типа и AMI, создал массив RAID 0, используя 2 устройства хранилища экземпляров NVMe [7], и запустил fio с теми же параметрами, которые вы указали. Результаты аналогичны тому, что вы достигли:

$ sudo fio -direct=1 -iodepth=1 -rw=randread -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Rand_Read_Testing
IOPS: минимум = 8820, максимум = 9196, средний = 8905,17, стандартное отклонение = 102,04, выборки = 58

$ sudo fio -direct=1 -iodepth=1 -rw=randwrite -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=iotest -name=Rand_Read_Testing
IOPS: мин. = 1552, макс. = 2012, среднее = 1883,84, стандартное отклонение = 59,06, выборки = 278.

Я повторил приведенный выше тест и смог достичь IOPS для чтения и записи в 824k и 460k соответственно, установив параметры «iodepth=32» и «numjobs=16»:

$ sudo fio --directory=/mnt/raid --name fio_test_file --direct=1 --rw=randread --bs=4k --size=1G --numjobs=16 --time_based --runtime=180 -- group_reporting --norandommap --iodepth=32 --ioengine=libaio
IOPS: минимум = 572631, максимум = 910386, средний = 824619,49, стандартное отклонение = 3518,58, образцы = 5745
   
$ sudo fio --directory=/mnt/raid --name fio_test_file --direct=1 --rw=randwrite --bs=4k --size=1G --numjobs=16 --time_based --runtime=180 -- group_reporting --norandommap --iodepth=32 --ioengine=libaio
IOPS: минимум = 291970, максимум = 509505, средний = 360163,50, стандартное отклонение = 2193,22, образцы = 5760

Напоминаем, что IOPS хранилища экземпляров также зависит от многих факторов, в том числе уже упомянутых выше, таких как тип ввода-вывода, размер блока, размер ввода-вывода, механизм ввода-вывода, глубина ввода-вывода, количество файлов/ устройства и количество потоков/процессов. Для получения дополнительной информации о том, как настроить параметры для оптимизации производительности, обратитесь к этим статьям [8][9][10].

Кроме того, хранилище экземпляров обеспечивает временное хранилище для вашего экземпляра, и данные будут потеряны, если основной диск выйдет из строя или если экземпляр будет остановлен/завершен [11]. Поэтому, если вам требуется постоянное хранилище данных, рассмотрите более надежный вариант, например Amazon EBS [12].

Я надеюсь, что вы найдете информацию выше полезной. Пожалуйста, дайте мне знать, если у вас возникнут дополнительные технические вопросы.

Спасибо.