Dell R530 Broadcom NetXtreme tg3 nic с ограничением скорости 12 МБ/с

У меня более старый Dell R530:

Производитель Dell Inc.
Модель PowerEdge R530
ЦП 16 ЦП x Intel(R) Xeon(R) ЦП E5-2630 v3 @ 2,40 ГГц
Память 63,78 ГБ

он имеет 8 сетевых карт, 3 из которых tg3, Broadcom NetXtreme BCM5720:

vmnic0 0000:02:00.0 tg3 Up Up Up 1000 Full 14:18:77:5e:a6:de 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic2 0000:03:00.0 tg3 Up Up Up 1000 Full 14:18:77:5e:a6:e0 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet
vmnic3 0000:03:00.1 tg3 Вверх Вниз 0 Половина 14:18:77:5e:a6:e1 1500 Broadcom Corporation NetXtreme BCM5720 Gigabit Ethernet

На всю жизнь я не могу заставить их отправлять трафик со скоростью выше ~ 12 МБ/с:

--------------------------------------------- ---------
Сервер прослушивает 5201
--------------------------------------------- ---------
Принимается соединение с 192.168.1.117, порт 50971
[ 5] локальный 192.168.1.148 порт 5201 подключен к 192.168.1.117 порт 50972
[ID] Пропускная способность интервальной передачи
[ 5] 0,00-1,00 с 11,2 МБ 93,6 Мбит/с
[ 5] 1,00-2,00 с 11,2 МБ 93,9 Мбит/с
[ 5] 2,00-3,00 с 11,2 МБ 93,9 Мбит/с
[ 5] 3,00-4,00 с 11,2 МБ 94,1 Мбит/с
[ 5] 4,00-5,00 с 11,2 МБ 94,0 Мбит/с
[ 5] 5,00-6,00 с 11,2 МБ 94,0 Мбит/с
[ 5] 6,00-7,00 с 11,2 МБ 94,1 Мбит/с
[ 5] 7.00-8.00 сек 11,2 МБ 94,1 Мбит/сек
[ 5] 8.00-9.00 сек 11,2 МБ 94,1 Мбит/сек
[ 5] 9.00-10.00 сек 11,2 МБ 94,1 Мбит/сек
[ 5] 10.00-10.05 с 573 Кбайт 93,9 Мбит/с
- - - - - - - - - - - - - - - - - - - - - - - - -
[ID] Пропускная способность интервальной передачи
[ 5] 0,00–10,05 с 0,00 байт 0,00 бит/с отправитель
[ 5] 0,00-10,05 с 113 МБ 94,0 Мбит/с приемник

Просто для доказательства того, что это не сеть, другие серверы получают ожидаемую производительность:

[ 6] локальный 192.168.1.117 порт 50998 подключен к 192.168.1.242 порт 5201
[ID] Пропускная способность интервальной передачи
[ 6] 0,00-1,00 с 75,9 МБ 637 Мбит/с
[ 6] 1,00-2,00 с 113 МБ 944 Мбит/с
[ 6] 2,00-3,00 с 113 МБ 944 Мбит/с
[ 6] 3.00-4.00 сек 112 МБ 935 Мбит/сек
[ 6] 4.00-5.00 сек 113 МБ 946 Мбит/сек
[ 6] 5.00-6.00 сек 112 МБ 939 Мбит/сек
[ 6] 6.00-7.00 сек 110 МБ 922 Мбит/сек
[ 6] 7.00-8.00 сек 109 МБ 918 Мбит/сек
[ 6] 8.00-9.00 сек 102 МБ 856 Мбит/сек
[ 6] 9.00-10.00 сек 102 МБ 854 Мбит/сек
- - - - - - - - - - - - - - - - - - - - - - - - -
[ID] Пропускная способность интервальной передачи
[ 6] 0,00–10,00 с 1,04 ГБ 890 Мбит/с отправитель
[ 6] 0,00-10,00 с 1,04 ГБ 889 Мбит/с приемник

Я обновил прошивку/драйвера, насколько это возможно. Согласно с https://www.broadcom.com/products/ethernet-connectivity/network-ics/bcm5720-1gbase-t-ic похоже, что последняя прошивка 3.137, которую я установил:

[root@esxi:~] esxcli network nic get -n vmnic0
   Рекламируемое автосогласование: правда
   Объявленные режимы соединения: 10baseT/половина, 10baseT/полный, 100baseT/половина, 100baseT/полный, 1000baseT/половина, 1000baseT/полный
   Автосогласование: правда
   Тип кабеля: витая пара
   Текущий уровень сообщения: 4260095
   Информация о водителе:
         Информация об автобусе: 0000:02:00.0
         Водитель: тг3
         Версия прошивки: FFV7.10.64 до н.э. 5720-v1.36
         Версия: 3.137л.в60.1
   Ссылка обнаружена: правда
   Статус ссылки: активен
   Имя: vmnic0
   PHYАдрес: 1
   Пауза автосогласования: правда
   Пауза RX: правда
   Пауза TX: правда
   Поддерживаемые порты: ТП
   Поддерживает автосогласование: правда
   Поддерживает паузу: правда
   Поддерживает Wakeon: правда
   Приемопередатчик: внутренний
   Виртуальный адрес: 00:00...[snip]
   Вейкон: MagicPacket (тм)

Вся диагностика/состояние сообщают, что он подключен на 1000, и я пробовал несколько сетевых карт, кабелей и коммутаторов с тем же результатом.

я провел часы пытаясь понять это, и все поиски и тестирования в Google ни к чему не привели. У кого-нибудь есть идеи, что еще я могу попробовать или проверить?

Я также пытался установить скорость соединения вручную, но она уже автоматически согласовывается до 1000.

Если все физические каналы показывают скорость 1000 Мбит/с, остается только:

• группа портов ESXi, к которой подключен адаптер VMkernel (?), имеет установленное ограничение трафика
• коммутатор, через который проходит трафик, имеет какое-то ограничение QoS / контроль трафика.

Кстати, рекламируемый режимы порта сетевой карты/коммутатора не имеют значения. согласованный режим делает.

Кроме того, сетевые карты Broadcom обычно поддерживают «Ethernet @ Wirespeed», что заставляет сетевую карту 1000BASE-T переключаться на 100BASE-FX, когда одна из витых пар в кабеле выходит из строя (стандартный 1000BASE-T вообще не подключается в таком случае) . Таким образом, даже если все настроено правильно, плохой кабель может отбросить вас к 100 Мбит/с.

Оказалось проблема с кабелем. Намек, который должен был меня насторожить, был 94,9 Мбит/с limit - очевидно, соединение было запущено 100 Мбит/с. Тот факт, что он был установлен для 1G и все говорило, что это 1G, это должно было подсказать мне, что что-то в проводке было перепутано и заставило его работать на 100 Мбит/с. Сегодня я приказал центру обработки данных отключить провода, и он работает на скорости 1G, как и должно быть.

Я был не прав, утверждая, что в стойке есть другое оборудование, работающее на скорости 1G. Я установил новый коммутатор в стойку и, взглянув на интерфейс, заметил, что порт только сообщает 100 Мбит/с. Как только я увидел это, я перепроверил, и устройство NAS, которое у меня было в стойке, действительно копировало только большие файлы в <= 100 Мбит/с.

Приносим извинения за вводящую в заблуждение информацию в вопросе. Я оставлю это на случай, если у кого-то из бедолаг возникнет такая же проблема где-то в будущем: если вы постоянно видите 11,3 МБ/с, или 11,2 МБ/с, или 94,9 Мбит/с, ДВАЖДЫ ПРОВЕРЬТЕ, ЧТО ВАШ ПОРТ ДЕЙСТВИТЕЛЬНО НЕ РАБОТАЕТ НА 100Mbps, даже если все говорят, что это так! Я не видел этого до тех пор, пока не установил интеллектуальный коммутатор/маршрутизатор, который сообщал фактическое число, а не то, что было в какой-то конфигурации или что было автоматически согласовано.