У меня есть коммутатор Mellanox 100 Гбит/с (под управлением Cumulus Linux 4.1), который я использую для подключения нескольких серверов, каждый с картой Mellanox ConnectX 5 100 Гбит/с. Эти серверы подключаются к коммутатору через кабель DAC. Пока он работает, я могу получить скорость порта только 25 Гбит / с.
Я проверил коммутатор, и оказалось, что каждый порт коммутатора QSFP вместо этого работает с 4 отдельными портами 25 Гбит / с, как показано в таблице ниже. Сервера подключены по портам с swp1 по 8.
cumulus@cumulus:mgmt:~$ net show interface all
Название состояния Spd MTU Mode Сводка LLDP
----- ------- ---- ----- --------- -------------------- ------- ------------------
UP lo N/A 65536 Loopback IP: 127.0.0.1/8
Ло IP: ::1/128
UP eth0 100M 1500 Mgmt SomeOtherSwitch (24) Мастер: mgmt(UP)
eth0 IP: 172.20.72.5/24
UP swp1s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp1s1 Н/Д 9216 По умолчанию
DN swp1s2 Н/Д 9216 По умолчанию
DN swp1s3 Н/Д 9216 По умолчанию
UP swp2s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp2s1 Н/Д 9216 По умолчанию
DN swp2s2 Н/Д 9216 По умолчанию
DN swp2s3 Н/Д 9216 По умолчанию
UP swp3s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp3s1 Н/Д 9216 По умолчанию
DN swp3s2 Н/Д 9216 По умолчанию
DN swp3s3 Н/Д 9216 По умолчанию
UP swp4s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp4s1 Н/Д 9216 По умолчанию
DN swp4s2 Н/Д 9216 По умолчанию
DN swp4s3 Н/Д 9216 По умолчанию
UP swp5s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp5s1 Н/Д 9216 По умолчанию
DN swp5s2 Н/Д 9216 По умолчанию
DN swp5s3 Н/Д 9216 По умолчанию
UP swp6s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp6s1 Н/Д 9216 По умолчанию
DN swp6s2 Н/Д 9216 По умолчанию
DN swp6s3 Н/Д 9216 По умолчанию
UP swp7s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp7s1 Н/Д 9216 По умолчанию
DN swp7s2 Н/Д 9216 По умолчанию
DN swp7s3 Н/Д 9216 По умолчанию
UP swp8s0 25G 9216 Trunk/L2 Master: мост (UP)
DN swp8s1 Н/Д 9216 По умолчанию
DN swp8s2 Н/Д 9216 По умолчанию
Согласно ethtool, серверы поддерживают желаемый режим соединения 100 Гбит/с через свои карты ConnectX:
Настройки для enp175s0f0:
Поддерживаемые порты: [ Объединительная плата ]
Поддерживаемые режимы связи: 1000baseKX/Full
10000 базовых крон/полный
40000baseKR4/полный
40000baseCR4/полный
40000baseSR4/полный
40000baseLR4/полный
25000baseCR/полный
25000 базовых крон/полный
25000baseSR/полный
50000baseCR2/полный
50000baseKR2/полный
100000baseKR4/полный
100000baseSR4/полный
100000baseCR4/полный
100000baseLR4_ER4/полный
Поддерживаемое использование кадра паузы: Симметричный
Поддерживает автосогласование: Да
Поддерживаемые режимы FEC: не сообщается
Рекламируемые режимы ссылок: 1000baseKX/Full
10000 базовых крон/полный
40000baseKR4/полный
40000baseCR4/полный
40000baseSR4/полный
40000baseLR4/полный
25000baseCR/полный
25000 базовых крон/полный
25000baseSR/полный
50000baseCR2/полный
50000baseKR2/полный
100000baseKR4/полный
100000baseSR4/полный
100000baseCR4/полный
100000baseLR4_ER4/полный
Рекламируемое использование кадра паузы: Симметричный
Рекламируемое автосогласование: Да
Заявленные режимы FEC: не сообщается
Режимы связи, рекламируемые партнером по ссылкам: не сообщается
Использование кадра паузы, рекламируемого партнером по ссылке: Нет
Автосогласование, рекламируемое партнером по ссылке: Да
Рекламируемые партнером по ссылке режимы FEC: не сообщается
Скорость: 25000 Мбит/с
Дуплекс: Полный
Порт: медь прямого подключения
ПЬЯД: 0
Приемопередатчик: внутренний
Автосогласование: включено
Поддерживает пробуждение: d
Пробуждение: д
Текущий уровень сообщения: 0x00000004 (4)
соединять
Ссылка обнаружена: да
Я что-то пропустил при настройке? Я попытался установить скорость соединения на 100000 вручную, но без изменений.
