У меня есть 4 коробки CentOS 7 с сетевыми адаптерами SuperMico 10000BaseT, подключенными к коммутатору Netgear ProSafe XS712T с кабелями Cat8. Коммутатор имеет все настройки по умолчанию, но показывает сетевые карты на 10G Full. Сетевые карты настроены:
[root@VH11 ~]# ethtool ens1f0
Настройки для ens1f0:
Поддерживаемые порты: [TP]
Поддерживаемые режимы связи: 100baseT/Full
1000baseT/полный
10000baseT/полный
Поддерживаемое использование кадра паузы: Симметричный
Поддерживает автосогласование: Да
Поддерживаемые режимы FEC: не сообщается
Рекламируемые режимы ссылки: 10000baseT/Full
Рекламируемое использование кадра паузы: Симметричный
Рекламируемое автосогласование: Да
Заявленные режимы FEC: не сообщается
Скорость: 10000 Мбит/с
Дуплекс: Полный
Порт: витая пара
ПЬЯД: 0
Приемопередатчик: внутренний
Автосогласование: включено
ДИ-Х: неизвестно
Поддерживает пробуждение: d
Пробуждение: д
Текущий уровень сообщения: 0x00000007 (7)
ссылка на датчик drv
Ссылка обнаружена: да
К коммутатору подключены ТОЛЬКО сетевые адаптеры 10G.
Я могу получить скорость передачи менее 1G при передаче файлов, как сообщают rsync, scp и iftop при передаче 1 файла 20G. Когда я тестирую сервер > коммутатор > сервер с помощью iperf, он сообщает мне, что получает 9,38 Гбит/с, но я получаю только 10% от этого при передаче файлов с помощью rsync или scp.
Что я здесь делаю неправильно?
Спасибо заранее за ваше время.
Добавлена информация:
Для сегмента сети 1 ГБ:
[root@VH14 ~]# time scp bigfile root@172.16.75.9:/home
пароль пользователя root@172.16.75.9:
большой файл 100% 4494 МБ 110,1 МБ/с 00:40
реальное 0m46.657s
пользователь 0m18.975s
система 0m4.646s
Для сегмента сети 10 ГБ:
[root@VH14 ~]# time scp bigfile root@10.0.75.9:/home/bf3
пароль пользователя root@10.0.75.9:
большой файл 100% 4494 МБ 112,3 МБ/с 00:40
реальное 0m45.693s
пользователь 0m34.643s
система 0m8.440s
172. и 10. находятся на разных переключателях. Коммутатор 10G не имеет восходящего канала и взаимодействует только с серверами. Итак, хотя iperf говорит, что я получаю около 10G, результаты передачи практически одинаковы в обеих подсетях.
Я не думаю, что дисковый ввод-вывод - это моя проблема:
[root@VH14 ~]# hdparm -t /dev/md126
/dev/md126:
Время чтения диска с буферизацией: 4150 МБ за 3,00 секунды = 1382,80 МБ/с.
[root@VH14 ~]# hdparm -T /dev/md126
/dev/md126:
Кэшированные чтения по времени: 19798 МБ за 1,99 секунды = 9945,27 МБ/с.
Дополнительная информация: MTU на сетевых адаптерах 10G составляет 9124. ЦП Intel (R) Xeon (R) CPU E5-2690 v4 @ 2,60 ГГц.
