Среда:
- несколько серверов PROXMOX 5 (KVM) (ядро: 4.15.18-30-pve)
- ВМ под управлением Debian 9, 10 и 11 (vitrio /qemu-guest-agent текущая версия соответствующей версии Debian)
- сетевые карты, подключенные через модуль ядра virtio_net
- ВМ, подключенные через мост Linux
- 1Gbit сетевые коммутаторы
Проблема
- Виртуальные машины в основном передаются со скоростью всего около 5 Мбит/с.
- иногда достигается полная скорость передачи около 950Мбит/с, при тестировании в обратном направлении часто (не всегда) всего 5 Мбит/с
- скорость передачи между виртуальными машинами на одном хосте около 20 Гбит/с (старые серверы)
Тесты
- тесты проводились через iperf3
- скорость передачи между хостами KVM в порядке, около 950 Мбит/с в обоих направлениях
- Я перемещал виртуальные машины между хостами и обратно, не видя закономерности в проблеме.
- Тесты проводились с разными виртуальными машинами (Debian 9-11).
Проверьте оба направления vm на vm (perf3)
root@@HOST1:~# iperf3 -c @HOST2
Подключение к хосту @HOST2, порт 5201
[ 5] локальный порт 192.168.40.121 59440 подключен к порту 192.168.40.52 5201
[ID] Интервал передачи Битрейт Retr Cwnd
[ 5] 0,00-1,00 с 109 МБ 918 Мбит/с 22 352 КБ
[ 5] 1,00-2,00 с 107 Мбайт 900 Мбит/сек 16 253 Кбайт
[ 5] 2,00-3,00 с 107 МБ 898 Мбит/с 2 390 КБ
[ 5] 3,00-4,00 с 108 МБ 910 Мбит/с 7 423 КБ
[ 5] 4,00-5,00 с 109 Мбайт 913 Мбит/сек 3 419 Кбайт
[ 5] 5,00-6,00 с 93,3 МБ 783 Мбит/с 19 165 КБ
[ 5] 6,00-7,00 с 92,3 МБ 775 Мбит/с 3 375 КБ
[ 5] 7.00-8.00 сек 107 МБ 895 Мбит/сек 27 358 КБ
[ 5] 8.00-9.00 сек 110 МБ 920 Мбит/сек 9 322 КБ
[ 5] 9.00-10.00 сек 109 МБ 914 Мбит/сек 17 327 КБ
- - - - - - - - - - - - - - - - - - - - - - - - -
[ID] Интервальная передача битрейта Retr
[ 5] 0,00-10,00 с 1,03 ГБ 883 Мбит/с 125 отправитель
[ 5] 0,00–10,04 с 1,02 ГБ 876 Мбит/с приемник
иперф Готово.
root@@HOST1:~# iperf3 -s
--------------------------------------------- ---------
Сервер прослушивает 5201
--------------------------------------------- ---------
Принимается подключение от 192.168.40.52, порт 35006
[5] локальный порт 192.168.40.121 5201 подключен к порту 192.168.40.52 35008
[ID] Битрейт интервальной передачи
[ 5] 0,00-1,00 с 598 Кбайт 4,90 Мбит/с
[ 5] 1,00-2,00 с 699 Кбайт 5,72 Мбит/с
[ 5] 2,00-3,00 с 1,38 МБ 11,6 Мбит/с
[ 5] 3,00-4,00 с 871 Кбайт 7,14 Мбит/с
[ 5] 4,00-5,00 с 1,36 МБ 11,4 Мбит/с
[ 5] 5,00-6,00 с 1,43 МБ 12,0 Мбит/с
[ 5] 6,00-7,00 с 1,23 МБ 10,3 Мбит/с
[ 5] 7.00-8.00 сек 592 Кбайт 4,85 Мбит/сек
[ 5] 8.00-9.00 сек 1.20 МБ 10.1 Мбит/сек
[ 5] 9.00-10.00 сек 1,35 МБ 11,4 Мбит/сек
- - - - - - - - - - - - - - - - - - - - - - - - -
[ID] Битрейт интервальной передачи
[ 5] 0,00–10,04 с 10,6 МБ 8,89 Мбит/с приемник
--------------------------------------------- ---------
Сервер прослушивает 5201
--------------------------------------------- ---------
Сетевая карта конфигурации
- на стороне сервера 1 Гбит/с, полный дуплекс (проверено с помощью ethtool)
- Адаптер Intel
У кого-нибудь есть идеи, как я могу еще больше изолировать проблему или даже узнать проблему.