У меня есть HBA, подключенный к слоту 8x pci, однако он отображается как x4 (понижен). Кроме того, он, кажется, отключен. Я предполагаю, что это ненормально и причина, по которой моя установка не работает. Пытаюсь устранить причину и заставить карту HBA работать с моим корпусом JBOD. В настоящее время виноваты кабели SAS, и я предполагаю, что виноват HBA.
Дополнительный фон
Примечание. У меня есть 8 планок оперативной памяти, по одной на каждый канал CPU_0. Другое 24
слоты пустые. Я отмечаю это как не уверенный, что это может оказать влияние.
Как найти карту HBA
Адаптер главной шины SAS 9305-16e
root@EPY00:~# lspci | grep -я широкий
c1:00.0 Контроллер Serial Attached SCSI: Broadcom / LSI SAS3216 PCI-Express Fusion-MPT SAS-3 (версия 01)
Поиск dmesg для моей карты HBA. Заметив, что моя карта ограничена. Не уверен, почему.
root@EPY00:~# dmesg | группа c1:00.0
[ 2.337229] pci 0000:c1:00.0: [1000:00c9] тип 00 класс 0x010700
[2.337241] pci 0000:c1:00.0: регистр 0x10: [io 0xd000-0xd0ff]
[2.337252] pci 0000:c1:00.0: reg 0x14: [mem 0x9c100000-0x9c10ffff 64bit]
[2.337274] pci 0000:c1:00.0: reg 0x30: [mem 0x9c000000-0x9c0fffff преф]
[ 2.337361] PCI 0000:c1:00.0: поддерживает D1 D2
[ 2.337410] pci 0000:c1:00.0: Доступная пропускная способность PCIe 31,504 Гбит/с, ограниченная каналом PCIe x4 со скоростью 8,0 Гбит/с на 0000:c0:01.1 (со скоростью 63,008 Гбит/с при канале PCIe x8 со скоростью 8,0 Гбит/с)
[ 2.780056] pci 0000:c1:00.0: добавление в группу iommu 87
[4.159479] mpt3sas 0000:c1:00.0: включение устройства (0000 -> 0002)
Соблюдение ссылки. Я вижу, что ссылка устарела. Не знаю, что это значит. Угадайте, что это может быть корневой проблемой?
root@EPY00:~# lspci -vv -s 0000:c0:01.1
c0:01.1 Мост PCI: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge (prog-if 00 [Нормальное декодирование])
Управление: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
Статус: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
Задержка: 0, размер строки кэша: 64 байта
Прерывание: булавка? перенаправляется на IRQ 70
NUMA-узел: 1
Группа IOMMU: 87
Шина: первичная = c0, вторичная = c1, подчиненная = c1, секундная задержка = 0
Ввод/вывод за мостом: 0000d000-0000dfff [size=4K]
Память за мостом: 9c000000-9c1ffffff [size=2M]
Предварительная выборка памяти за мостом: [отключено]
Вторичный статус: 66MHz- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort+ <SERR- <PERR-
BridgeCtl: Parity- SERR+ NoISA- VGA- VGA16+ MAbort- >Reset- FastB2B-
PriDiscTmr- SecDiscTmr- DiscTmrStat- DiscTmrSERRen-
Возможности: [50] Управление питанием версии 3
Флаги: PMEClk- DSI- D1- D2- AuxCurrent=0 мА PME(D0+,D1-,D2-,D3hot+,D3cold+)
Статус: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-
Возможности: [58] Корневой порт Express (v2) (Slot+), MSI 00
DevCap: MaxPayload 512 байт, PhantFunc 0
Внешняя метка+ RBE+
DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq-
RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+
MaxPayload 512 байт, MaxReadReq 512 байт
DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
LnkCap: порт № 0, скорость 16 ГТ/с, ширина x8, ASPM L1, задержка на выходе L1 <64 мкс
ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
LnkCtl: ASPM отключен; RCB 64 байта, Disabled — CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: скорость 8 ГТ/с (пониженная версия), ширина x4 (пониженная версия)
TrErr- Train- SlotClk+ DLActive+ BWMgmt+ ABWMgmt-
SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug- Surprise-
Слот № 3, ограничение мощности 75 000 Вт; Блокировка- NoCompl+
SltCtl: Включить: AttnBtn- PwrFlt- MRL- PresDet- CmdCplt- HPIrq- LinkChg-
Управление: AttnInd Unknown, PwrInd Unknown, Power- Interlock-
SltSta: Статус: AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-
Изменено: MRL- PresDet- LinkState-
Корневая крышка: CRSVisible+
RootCtl: ErrCorrectable- ErrNon-Fatal- ErrFatal- PMEIntEna+ CRSVisible+
RootSta: PME ReqID 0000, PMEStatus- PMEPending-
DevCap2: Время ожидания завершения: Диапазон ABCD, TimeoutDis+ NROPrPrP- LTR-
10BitTagComp- 10BitTagReq- OBFF не поддерживается, ExtFmt+ EETLPPrefix+, MaxEETLPPrefixes 1
EmergencyPowerReduction не поддерживается, EmergencyPowerReductionInit-
FRS- LN Система CLS не поддерживается, TPHComp- ExtTPHComp- ARIFwd+
AtomicOpsCap: Маршрутизация — 32-битная + 64-битная + 128-битная CAS-
DevCtl2: Время ожидания завершения: от 65 мс до 210 мс, TimeoutDis- LTR- OBFF отключено, ARIFwd+
AtomicOpsCtl: ReqEn-EgressBlck-
LnkCap2: Поддерживаемые скорости соединения: 2,5–16 ГТ/с, Crosslink- Retimer+ 2Retimers+ DRS-
LnkCtl2: Целевая скорость соединения: 16 ГТ/с, EnterCompliance- SpeedDis-
Диапазон передачи: нормальный рабочий диапазон, EnterModifiedCompliance- ComplianceSOS-
Соответствие De-emphasis: -6dB
LnkSta2: Текущий уровень подавления акцентов: -3,5 дБ, EqualizationComplete+ EqualizationPhase1+
EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
Retimer- 2Retimers- CrosslinkRes: не поддерживается
Возможности: [a0] MSI: Enable+ Count=1/1 Maskable- 64bit+
Адрес: 00000000fee00000 Данные: 0000
Возможности: [c0] Подсистема: Gigabyte Technology Co., Ltd Starship/Matisse GPP Bridge
Возможности: [c8] HyperTransport: MSI Mapping Enable+ Fixed+
Возможности: [100 v1] Информация о поставщике: ID=0001 Rev=1 Len=010 <?>
Возможности: [270 v1] Дополнительный PCI Express
LnkCtl3: LnkEquIntrruptEn- PerformEqu-
LaneErrStat: 0
Возможности: [370 v1] Подсостояния L1 PM
L1SubCap: PCI-PM_L1.2- PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1+ L1_PM_Substates+
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
L1SubCtl2:
Возможности: [380 v1] Сдерживание нисходящего порта
DpcCap: INT Msg #0, RPExt+ PoisonedTLP+ SwTrigger+ RP PIO Log 6, DL_ActiveErr+
DpcCtl: Trigger:0 Cmpl- INT- ErrCor- PoisonedTLP- SwTrigger- DL_ActiveErr-
DpcSta: Trigger- Reason:00 INT- RPBusy- TriggerExt:00 RP PIO ErrPtr:1f
Источник: 0000
Возможности: [400 v1] Функция передачи данных <?>
Возможности: [410 v1] Физический уровень 16,0 ГТ/с <?>
Возможности: [440 v1] Маржа полосы у получателя <?>
Используемый драйвер ядра: pcieport
Возможно, не связано, но также заметил следующее.
root@EPY00:~# dmesg | grep -i pci | grep -я бар
[ 2.314469] pci 0000:63:00.0: VF(n) BAR0 пробел: [mem 0x18090f60000-0x18090f7ffff 64bit pref] (содержит BAR0 для 8 VF)
[ 2.314469] pci 0000:63:00.0: VF(n) BAR3 пробел: [mem 0x18090f40000-0x18090f5ffff 64bit pref] (содержит BAR3 для 8 VF)
[ 2.314648] pci 0000:63:00.1: VF(n) BAR0 пробел: [mem 0x18090f20000-0x18090f3ffff 64bit pref] (содержит BAR0 для 8 VF)
[ 2.314668] pci 0000:63:00.1: VF(n) BAR3 пробел: [mem 0x18090f00000-0x18090f1ffff 64bit pref] (содержит BAR3 для 8 VF)
[ 2.326651] pci 0000:66:00.0: BAR 0: присвоен efifb
[ 2.381614] pci 0000:00:01.1: BAR 14: присвоено [mem 0xf6000000-0xf61fffff]
[ 2.381616] pci 0000:00:01.1: BAR 15: присвоено [mem 0x300f1000000-0x300f11fffff 64-битная предустановка]
[ 2.381617] pci 0000:00:01.2: BAR 14: присвоено [mem 0xf6200000-0xf63fffff]
[ 2.381619] pci 0000:00:01.2: BAR 15: присвоено [mem 0x300f1200000-0x300f13fffff 64-битная предустановка]
[ 2.381622] pci 0000:00:01.1: BAR 13: присвоено [io 0x1000-0x1fff]
[ 2.381623] pci 0000:00:01.2: BAR 13: присвоено [io 0x2000-0x2fff]
[ 2.381826] pci 0000:60:03.1: BAR 15: присвоено [mem 0x10091000000-0x100911fffff 64-битная предустановка]
[ 2.381828] pci 0000:60:03.2: BAR 15: присвоено [mem 0x10091200000-0x100913fffff 64-битная предустановка]
[2.381829] pci 0000:60:03.1: BAR 13: нет места для [io size 0x1000]
[2.381830] pci 0000:60:03.1: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.381831] pci 0000:60:03.2: BAR 13: нет места для [io size 0x1000]
[2.381832] pci 0000:60:03.2: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.381833] pci 0000:60:03.2: BAR 13: нет места для [io size 0x1000]
[2.381834] pci 0000:60:03.2: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[2.381835] pci 0000:60:03.1: BAR 13: нет места для [io size 0x1000]
[2.381835] pci 0000:60:03.1: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.381947] pci 0000:80:01.1: BAR 14: присвоено [mem 0x90000000-0x901fffff]
[ 2.381949] pci 0000:80:01.1: BAR 15: присвоено [mem 0x581b1000000-0x581b11fffff 64-битная приставка]
[ 2.381949] pci 0000:80:01.2: BAR 14: присвоено [mem 0x90200000-0x903fffff]
[ 2.381951] pci 0000:80:01.2: BAR 15: присвоено [mem 0x581b1200000-0x581b13fffff 64-битная предустановка]
[2.381952] pci 0000:80:01.1: BAR 13: присвоено [io 0x9000-0x9fff]
[ 2.381952] pci 0000:80:01.2: BAR 13: присвоено [io 0xa000-0xafff]
[ 2.382039] pci 0000:a0:03.1: BAR 15: присвоено [mem 0x501b1000000-0x501b11fffff 64-битная предустановка]
[ 2.382040] pci 0000:a0:03.2: BAR 15: присвоено [mem 0x501b1200000-0x501b13fffff 64-битная предустановка]
[ 2.382041] pci 0000:a0:03.3: BAR 14: присвоено [mem 0x96000000-0x961fffff]
[ 2.382042] pci 0000:a0:03.3: BAR 15: присвоено [mem 0x501b1400000-0x501b15fffff 64-битная предустановка]
[2.382043] pci 0000:a0:03.4: BAR 14: присвоено [mem 0x96200000-0x963fffff]
[ 2.382044] pci 0000:a0:03.4: BAR 15: присвоено [mem 0x501b1600000-0x501b17fffff 64-битная предустановка]
[2.382045] pci 0000:a0:03.1: BAR 13: присвоено [io 0xc000-0xcfff]
[2.382046] pci 0000:a0:03.2: BAR 13: нет места для [io size 0x1000]
[2.382046] pci 0000:a0:03.2: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.382047] pci 0000:a0:03.3: BAR 13: нет места для [io size 0x1000]
[2.382048] pci 0000:a0:03.3: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[2.382049] pci 0000:a0:03.4: BAR 13: нет места для [io size 0x1000]
[2.382049] pci 0000:a0:03.4: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.382051] pci 0000:a0:03.4: BAR 13: присвоено [io 0xc000-0xcfff]
[2.382052] pci 0000:a0:03.3: BAR 13: нет места для [io size 0x1000]
[2.382053] pci 0000:a0:03.3: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[2.382054] pci 0000:a0:03.2: BAR 13: нет места для [io size 0x1000]
[2.382054] pci 0000:a0:03.2: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.382055] pci 0000:a0:03.1: BAR 13: нет места для [io size 0x1000]
[2.382056] pci 0000:a0:03.1: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.382218] pci 0000:e0:03.1: BAR 14: присвоено [mem 0xa0000000-0xa01fffff]
[ 2.382219] pci 0000:e0:03.1: BAR 15: присвоено [mem 0x40151000000-0x401511fffff 64-битная предустановка]
[ 2.382220] pci 0000:e0:03.2: BAR 14: присвоено [mem 0xa0200000-0xa03fffff]
[ 2.382222] pci 0000:e0:03.2: BAR 15: присвоено [mem 0x40151200000-0x401513fffff 64-битная предустановка]
[ 2.382222] pci 0000:e0:03.1: BAR 13: присвоено [io 0xe000-0xefff]
[2.382223] pci 0000:e0:03.2: BAR 13: нет места для [io size 0x1000]
[2.382224] pci 0000:e0:03.2: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
[ 2.382225] pci 0000:e0:03.2: BAR 13: присвоено [io 0xe000-0xefff]
[ 2.382226] pci 0000:e0:03.1: BAR 13: нет места для [io size 0x1000]
[2.382227] pci 0000:e0:03.1: BAR 13: не удалось назначить [размер ввода-вывода 0x1000]
Бонусная команда на водителе
root@EPY00:~# modinfo mpt3sas
имя файла: /lib/modules/5.10.0-9-amd64/kernel/drivers/scsi/mpt3sas/mpt3sas.ko
псевдоним: mpt2sas
версия: 35.100.00.00
лицензия: GPL
описание: Драйвер устройства LSI MPT Fusion SAS 3.0
автор: Avago Technologies <[email protected]>
исходная версия: 2D6BBDB9CE0F1B2FA0B159D
псевдоним: pci:v00001000d000000E7sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E4sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E6sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E5sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000B2sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E3sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E0sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E2sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000E1sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000D1sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000ACsv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000ABsv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000AAsv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000AFsv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000AEsv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000ADsv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C3sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C2sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C1sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C0sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C8sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C7sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C6sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C5sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C4sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000000C9sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000095sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000094sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000091sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000090sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000097sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000096sv*sd*bc*sc*i*
псевдоним: pci:v00001000d0000007Esv*sd*bc*sc*i*
псевдоним: pci:v00001000d000002B1sv*sd*bc*sc*i*
псевдоним: pci:v00001000d000002B0sv*sd*bc*sc*i*
псевдоним: pci:v00001000d0000006Esv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000087sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000086sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000085sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000084sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000083sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000082sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000081sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000080sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000065sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000064sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000077sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000076sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000074sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000072sv*sd*bc*sc*i*
псевдоним: pci:v00001000d00000070sv*sd*bc*sc*i*
зависит: scsi_mod,scsi_transport_sas,raid_class
ретполин: Y
интри: Y
имя: mpt3sas
vermagic: 5.10.0-9-amd64 SMP mod_unload modversions
sig_id: PKCS#7
подписывающее лицо: Debian Secure Boot CA
sig_key: 4B:6E:F5:AB:CA:66:98:25:17:8E:05:2C:84:66:7C:CB:C0:53:1F:8C
sig_hashalgo: sha256
подпись: 96:D9:EB:25:37:10:96:E1:BD:55:F1:66:9C:87:2A:C1:E8:B1:9A:A1:
28:42:A8:DD:EF:25:B8:DF:BA:1D:B2:FC:E5:45:42:6D:DC:2B:77:02:
6A:55:29:F0:08:04:3E:A2:42:53:1E:F8:F0:EF:07:4F:D0:F4:74:93:
35:3E:E3:1E:AC:01:25:0F:87:4D:94:71:B1:6D:1C:4B:10:EF:C3:6E:
BA:B5:58:37:19:CC:35:99:CB:1C:00:35:60:4A:39:CA:8E:53:99:40:
3C:03:FE:4A:FE:44:2E:72:F6:F3:62:FC:89:CA:4A:88:C3:83:A6:D2:
66:56:47:FA:FC:47:1D:F7:E1:FB:2D:A9:DD:E2:E2:B8:BC:19:A7:64:
51:99:36:FD:53:6A:40:5B:75:A3:03:57:4E:6C:03:62:D1:BC:68:31:
E2:52:71:75:69:92:E4:72:BB:21:7E:F5:D3:E4:27:1C:95:25:36:00:
8E:63:02:CB:D3:4E:9B:03:D2:A7:A0:BD:43:93:3C:32:E0:F1:8D:E9:
EA:D0:6B:56:1B:C6:61:43:97:4B:EB:57:B7:1D:FB:EA:4B:5F:DA:1E:
A1:9F:9E:E3:C8:7A:6F:4A:A5:82:7C:51:05:78:4E:25:BF:74:4E:A6:
FC:86:1C:CD:52:37:D5:9E:83:41:C9:0F:1A:5D:1C:EB
parm: logging_level: биты для включения дополнительной информации ведения журнала (по умолчанию = 0)
parm: max_sectors:максимальное количество секторов, диапазон от 64 до 32767 по умолчанию=32767 (ushort)
parm:missing_delay: отсутствует задержка устройства, отсутствует задержка ввода-вывода (массив целых чисел)
параметр: max_lun: макс. лун, по умолчанию = 16895 (ullong)
parm: hbas_to_enumerate: 0 — перечисляет HBA поколения SAS 2.0 и SAS 3.0.
1 — перечислены только HBA поколения SAS 2.0.
2 — перечислены только HBA поколения SAS 3.0 (по умолчанию = 0) (ushort)
parm: diag_buffer_enable: буферы диагностики сообщений (TRACE=1/SNAPSHOT=2/EXTENDED=4/default=0) (целое число)
parm: disable_discovery: отключить обнаружение (целое число)
parm: prot_mask: маска возможностей защиты хоста, def=7 (int)
parm: enable_sdev_max_qd: включить sdev max qd как can_queue, def=disabled(0) (bool)
parm: max_queue_depth: максимальная глубина очереди контроллера (целое число)
parm: max_sgl_entries: максимальное количество записей sg (целое число)
parm: msix_disable: отключить маршрутизируемые прерывания msix (по умолчанию = 0) (целое число)
parm: smp_affinity_enable: включение/отключение функции сходства SMP По умолчанию: enable(1) (int)
parm: max_msix_vectors: максимальное количество векторов msix (целое число)
parm: irqpoll_weight:вес опроса irq (по умолчанию = одна четвертая глубины очереди HBA) (целое число)
параметр: mpt3sas_fwfault_debug: включить обнаружение сбоя прошивки и остановить прошивку - (по умолчанию = 0)
parm: perf_mode: Режим производительности (только для Aero/Sea Generation), опции:
0 - сбалансированный: включен режим высокой производительности и
объединение прерываний включено только в очередях с большим количеством операций ввода-вывода в секунду,
1 - iops: режим высокой скорости IOPS отключен и
объединение прерываний включено для всех очередей,
2 - задержка: режим высокой скорости передачи данных отключен и
объединение прерываний включено для всех очередей со значением времени ожидания 0xA,
default - perf_mode по умолчанию "сбалансированный" (целое число)
