Сегодня мне пришлось починить серверный вентилятор, разобрав и перестроив его. После загрузки сервера у меня возникла проблема, что все диски не в том же месте, где они были вчера. Таким образом, система не смогла смонтировать мой массив. Теперь все диски имеют старый путь, как и раньше... Но моя система не может смонтировать их при загрузке, что приводит к ошибке "невозможно прочитать суперблок". Я не очень знаком с конфигурациями рейдов. Вот почему я всегда боюсь запустить неправильную команду и стереть все диски.
Вот почему я спрашиваю, безопасно ли обнулить суперблоки и воссоздать «новый» массив raid5?
кошка /proc/mdstat
Личности:
md127 : неактивный sda[0](S) sdb[1](S) sdd[4](S) sdc[2](S)
7813529952 блоки супер 1.2
неиспользуемые устройства: <нет>
Я пробовал следующее:
# mdadm --stop /dev/md127
mdadm: остановлен /dev/md127
# mdadm --assemble --scan -v
mdadm: /dev/sdc идентифицируется как член /dev/md/vo1, слот 2.
mdadm: /dev/sdd определяется как член /dev/md/vo1, слот 3.
mdadm: /dev/sdb определяется как член /dev/md/vo1, слот 1.
mdadm: /dev/sda идентифицируется как член /dev/md/vo1, слот 0.
mdadm: добавлен /dev/sda в /dev/md/vo1 как 0 (возможно, устаревший)
mdadm: добавлен /dev/sdb в /dev/md/vo1 как 1 (возможно, устаревший)
mdadm: добавлен /dev/sdd в /dev/md/vo1 как 3
mdadm: добавлен /dev/sdc в /dev/md/vo1 как 2
mdadm: /dev/md/vo1 собран из 2-х дисков - маловато для запуска массива.
Подробности показывают мне, что он установил Raid0 вместо Raid5.
# mdadm --detail /dev/md127
/dev/md127:
Версия : 1.2
Уровень рейда: рейд0
Всего устройств: 4
Постоянство: суперблок постоянен
Состояние: неактивно
Рабочие устройства: 4
Имя: ncloud:vo1 (локальное для хоста ncloud)
UUID: b8ecad1a:56e6c31c:35bb6532:3dd2f9c7
События : 5102
Номер Основной Младший RaidDevice
- 8 32 - /dev/sdc
- 8 0 - /dev/sda
- 8 48 - /dev/sdd
- 8 16 - /dev/sdb
Есть 2 диска, каждый из которых имеет 1 отсутствующее состояние.
Редактировать № 2
root@ncloud:~# mdadm --examine /dev/sd[abcd]
/dev/sda:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x1
UUID массива: b8ecad1a:56e6c31c:35bb6532:3dd2f9c7
Имя: ncloud:vo1 (локальное для хоста ncloud)
Время создания: ср, 9 декабря, 13:01:02 2020
Уровень рейда: рейд5
Рейдовые устройства: 4
Доступный размер разработчика: 3906764976 (1862,89 ГиБ 2000,26 ГБ)
Размер массива: 5860147200 (5588,67 ГиБ 6000,79 ГБ)
Используемый размер разработки: 3906764800 (1862,89 ГиБ 2000,26 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользованное пространство: до = 264112 секторов, после = 176 секторов
Состояние: чистое
UUID устройства: c0e60330:de836b95:5dd932a0:fe90c3dd
Внутреннее растровое изображение: 8 секторов из суперблока
Время обновления: пн, 23 августа, 00:45:53 2021
Журнал плохих блоков: 512 записей доступны по смещению 16 секторов
Контрольная сумма: 96c1485f - правильно
События : 5102
Макет: левосимметричный
Размер фрагмента: 128 КБ
Роль устройства: активное устройство 0
Состояние массива: AAAA («A» == активно, «.» == отсутствует, «R» == замена)
/dev/sdb:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x1
UUID массива: b8ecad1a:56e6c31c:35bb6532:3dd2f9c7
Имя: ncloud:vo1 (локальное для хоста ncloud)
Время создания: ср, 9 декабря, 13:01:02 2020
Уровень рейда: рейд5
Рейдовые устройства: 4
Доступный размер разработчика: 3906764976 (1862,89 ГиБ 2000,26 ГБ)
Размер массива: 5860147200 (5588,67 ГиБ 6000,79 ГБ)
Используемый размер разработки: 3906764800 (1862,89 ГиБ 2000,26 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользованное пространство: до = 264112 секторов, после = 176 секторов
Состояние: чистое
UUID устройства: 27b3f2cd:ca5d1594:625c4478:48e2a2d6
Внутреннее растровое изображение: 8 секторов из суперблока
Время обновления: пн, 23 августа, 00:45:53 2021
Журнал плохих блоков: 512 записей доступны по смещению 16 секторов
Контрольная сумма: 44ac303 - правильно
События : 5102
Макет: левосимметричный
Размер фрагмента: 128 КБ
Роль устройства: активное устройство 1
Состояние массива: AAAA («A» == активно, «.» == отсутствует, «R» == замена)
/dev/sdc:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x1
UUID массива: b8ecad1a:56e6c31c:35bb6532:3dd2f9c7
Имя: ncloud:vo1 (локальное для хоста ncloud)
Время создания: ср, 9 декабря, 13:01:02 2020
Уровень рейда: рейд5
Рейдовые устройства: 4
Доступный размер разработчика: 3906764976 (1862,89 ГиБ 2000,26 ГБ)
Размер массива: 5860147200 (5588,67 ГиБ 6000,79 ГБ)
Используемый размер разработки: 3906764800 (1862,89 ГиБ 2000,26 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользованное пространство: до = 264112 секторов, после = 176 секторов
Состояние: чистое
UUID устройства: 5e2a55e9:81dce8d4:8e4f5dce:e270f7a5
Внутреннее растровое изображение: 8 секторов из суперблока
Время обновления: пн, 23 августа, 09:48:16 2021
Журнал плохих блоков: 512 записей доступны по смещению 16 секторов
Контрольная сумма: 85efb9d6 - верно
События : 5102
Макет: левосимметричный
Размер фрагмента: 128 КБ
Роль устройства: активное устройство 2
Состояние массива: .AAA («A» == активно, «.» == отсутствует, «R» == замена)
/dev/sdd:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x1
UUID массива: b8ecad1a:56e6c31c:35bb6532:3dd2f9c7
Имя: ncloud:vo1 (локальное для хоста ncloud)
Время создания: ср, 9 декабря, 13:01:02 2020
Уровень рейда: рейд5
Рейдовые устройства: 4
Доступный размер разработчика: 3906764976 (1862,89 ГиБ 2000,26 ГБ)
Размер массива: 5860147200 (5588,67 ГиБ 6000,79 ГБ)
Используемый размер разработки: 3906764800 (1862,89 ГиБ 2000,26 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользованное пространство: до = 264112 секторов, после = 176 секторов
Состояние: чистое
UUID устройства: 22630b19:7930354b:7e3784a8:4f7396b7
Внутреннее растровое изображение: 8 секторов из суперблока
Время обновления: пн, 23 августа, 09:48:16 2021
Журнал плохих блоков: 512 записей доступны по смещению 16 секторов
Контрольная сумма: 17b830f0 - правильно
События : 5102
Макет: левосимметричный
Размер фрагмента: 128 КБ
Роль устройства: Активное устройство 3
Состояние массива: .AAA («A» == активно, «.» == отсутствует, «R» == замена)
РЕДАКТИРОВАТЬ #3
OK root@ncloud:~# mdadm --stop /dev/md127
mdadm: остановлен /dev/md127
OK root@ncloud:~# mdadm --assemble --force /dev/md127 /dev/sd[abcd]
mdadm: /dev/md127 запущен с 4 дисками.
OK root@ncloud:~# cat /proc/mdstat
Личности: [raid6] [raid5] [raid4]
md127 : активен (только для автоматического чтения) raid5 sda[0] sdd[4] sdc[2] sdb[1]
5860147200 блоков super 1.2 level 5, чанк 128k, алгоритм 2 [4/4] [UUUU]
растровое изображение: 0/15 страниц [0 КБ], фрагмент 65536 КБ
неиспользуемые устройства: <нет>
root@ncloud:~# mdadm --detail /dev/md127
/dev/md127:
Версия : 1.2
Время создания: ср, 9 декабря, 13:01:02 2020
Уровень рейда: рейд5
Размер массива: 5860147200 (5588,67 ГиБ 6000,79 ГБ)
Используемый размер разработки: 1953382400 (1862,89 ГиБ 2000,26 ГБ)
Рейдовые устройства: 4
Всего устройств: 4
Постоянство: суперблок постоянен
Растровое изображение намерения: внутреннее
Время обновления: пн, 23 августа, 00:45:53 2021
Состояние: чистое
Активные устройства: 4
Рабочие устройства: 4
Неудачные устройства: 0
Запасные устройства : 0
Макет: левосимметричный
Размер фрагмента: 128 КБ
Политика согласованности: растровое изображение
Имя: ncloud:vo1 (локальное для хоста ncloud)
UUID: b8ecad1a:56e6c31c:35bb6532:3dd2f9c7
События : 5102
Номер Основной Младший RaidDevice State
0 8 0 0 активная синхронизация /dev/sda
1 8 16 1 активная синхронизация /dev/sdb
2 8 32 2 активная синхронизация /dev/sdc
4 8 48 3 активная синхронизация /dev/sdd
Редактировать 4
После сканирования деталей в mdadm.conf, раскомментирования моей строки в fstab (UUID массива был тот же), а также update-initramfs -u и перезагрузки. Я увидел в dmesg следующее:
Ошибка root@ncloud:~# dmesg | grep-блок
[ 11.326178] sd 0:0:0:0: [sda] 3907029168 Логические блоки по 512 байт: (2,00 ТБ/1,82 ТиБ)
[ 11.328529] sd 0:0:0:1: [sdb] 3907029168 Логические блоки по 512 байт: (2,00 ТБ/1,82 ТиБ)
[ 12.198036] sd 1:0:0:0: [sdc] 3907029168 Логические блоки по 512 байт: (2,00 ТБ/1,82 ТиБ)
[ 12.200996] sd 1:0:0:1: [sdd] 3907029168 Логические блоки по 512 байт: (2,00 ТБ/1,82 ТиБ)
[ 144.497538] EXT4-fs (md127): невозможно прочитать суперблок
Личности:
md127 : неактивный sdd[4](S) sdc[2](S) sda[0](S) sdb[1](S)
7813529952 блоки супер 1.2
неиспользуемые устройства: <нет>
РЕДАКТИРОВАТЬ 5 DMESG
Я только что загрузил систему, и ни один из жестких дисков не подошел. Я всегда выключаю системы, когда ложусь спать.
[ 44.331998] sd 0:0:0:1: [sdb] 3907029168 Логические блоки по 512 байт: (2,00 ТБ/1,82 ТиБ)
[44.332253] sd 0:0:0:1: [sdb] Защита от записи отключена
[ 44.332262] sd 0:0:0:1: [sdb] Значение режима: 67 00 10 08
[ 44.333022] sd 0:0:0:1: [sdb] Кэш записи: включен, кэш чтения: включен, поддерживает DPO и FUA
[ 44.333748] sd 0:0:0:1: [sdb] Оптимальный размер передачи 33553920 байт
[ 44.335655] sd 0:0:0:0: [sda] 3907029168 Логические блоки по 512 байт: (2,00 ТБ/1,82 ТиБ)
[44.335907] sd 0:0:0:0: [sda] Защита от записи отключена
[ 44.335916] sd 0:0:0:0: [sda] Значение режима: 67 00 10 08
[44.336385] sd 0:0:0:0: [sda] Кэш записи: включен, кэш чтения: включен, поддерживает DPO и FUA
[ 44.337327] sd 0:0:0:0: [sda] Оптимальный размер передачи 33553920 байт
[44.574978] usb 2-2: отключение USB, номер устройства 15
[44.635129] sd 0:0:0:0: [sda] Ошибка чтения емкости (16): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.635152] sd 0:0:0:0: [sda] Смысл недоступен.
[44.635234] sd 0:0:0:0: [sda] Ошибка чтения емкости (10): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.635253] sd 0:0:0:0: [sda] Смысл недоступен.
[ 44.635322] sd 0:0:0:0: [sda] 0 логических блоков по 512 байт: (0 B/0 B)
[44.635366] sd 0:0:0:0: [sda] Защита от записи включена
[ 44.635386] sd 0:0:0:0: [sda] Смысл режима: 5c 10 8b c4
[44.636524] sd 0:0:0:0: [sda] Ошибка чтения емкости (16): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.636544] sd 0:0:0:0: [sda] Смысл недоступен.
[44.636625] sd 0:0:0:0: [sda] Ошибка чтения емкости (10): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.636643] sd 0:0:0:0: [sda] Смысл недоступен.
[ 44.636865] sd 0:0:0:0: [sda] Подключенный диск SCSI
[44.815456] sd 0:0:0:1: [sdb] Ошибка чтения емкости (16): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.815467] sd 0:0:0:1: [sdb] Смысл недоступен.
[44.815500] sd 0:0:0:1: [sdb] Ошибка чтения емкости (10): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.815507] sd 0:0:0:1: [sdb] Смысл недоступен.
[ 44.815535] sd 0:0:0:1: [sdb] 0 логических блоков по 512 байт: (0 B/0 B)
[44.816034] sd 0:0:0:1: [sdb] Ошибка чтения емкости (16): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.816042] sd 0:0:0:1: [sdb] Смысл недоступен.
[44.816075] sd 0:0:0:1: [sdb] Ошибка чтения емкости (10): Результат: hostbyte=0x07 driverbyte=0x00
[ 44.816082] sd 0:0:0:1: [sdb] Смысл недоступен.
[ 44.816132] sd 0:0:0:1: [sdb] Подключенный диск SCSI
[ 46.625314] usb 2-2: устройство не отвечает на адрес настройки.
[ 46.845292] usb 2-2: устройство не отвечает на адрес настройки.
[47.064953] usb 2-2: устройство не принимает адрес 16, ошибка -71
[ 47.295335] usb 2-2: устройство не отвечает на адрес настройки.
[ 47.515295] usb 2-2: устройство не отвечает на адрес настройки.
[47.734964] usb 2-2: устройство не принимает адрес 17, ошибка -71
[47.743443] usb usb2-port2: попытка выключения питания
[ 48.505310] usb 2-2: устройство не отвечает на адрес настройки.
[ 48.725233] usb 2-2: устройство не отвечает на адрес настройки.
[48.944928] usb 2-2: устройство не принимает адрес 18, ошибка -71
[ 49.175256] usb 2-2: устройство не отвечает на адрес настройки.
[ 49.395303] usb 2-2: устройство не отвечает на адрес настройки.
[49.614958] usb 2-2: устройство не принимает адрес 19, ошибка -71
[ 49.623420] usb usb2-port2: невозможно перечислить USB-устройство
[63.844995] usb 1-1.1: новое высокоскоростное USB-устройство номер 4 с использованием xhci_hcd
[64.054967] usb 2-1: отключение USB, номер устройства 3
[64.068262] sd 1:0:0:0: [sdc] Синхронизация кэша SCSI
[64.685012] sd 1:0:0:0: [sdc] Ошибка синхронизации кэша (10): Результат: hostbyte=0x07 driverbyte=0x00
[64.767524] sd 1:0:0:1: [sdd] Синхронизация кэша SCSI
[65.365009] sd 1:0:0:1: [sdd] Ошибка синхронизации кэша (10): Результат: hostbyte=0x07 driverbyte=0x00
[65.755417] usb 2-1: устройство не отвечает на адрес настройки.
[ 65.975280] usb 2-1: устройство не отвечает на адрес настройки.
[66.194952] usb 2-1: устройство не принимает адрес 20, ошибка -71
[ 66.425315] usb 2-1: устройство не отвечает на адрес настройки.
[ 66.645324] usb 2-1: устройство не отвечает на адрес установки.
[66.864943] usb 2-1: устройство не принимает адрес 21, ошибка -71
[66.873409] usb usb2-port1: попытка выключения и выключения питания
[67.645288] usb 2-1: Устройство не отвечает на адрес установки.
[ 67.865275] usb 2-1: устройство не отвечает на адрес настройки.
[68.084979] usb 2-1: устройство не принимает адрес 22, ошибка -71
[ 68.315282] usb 2-1: устройство не отвечает на адрес настройки.
[68.535306] usb 2-1: устройство не отвечает на адрес настройки.
[68.754993] usb 2-1: устройство не принимает адрес 23, ошибка -71
[68.763463] usb usb2-port1: невозможно перечислить USB-устройство
[ 267.345137] usb 2-2: устройство не отвечает на адрес настройки.
[ 267.565113] usb 2-2: устройство не отвечает на адрес настройки.
[267.784800] usb 2-2: устройство не принимает адрес 24, ошибка -71
[ 268.895181] usb 2-2: устройство не отвечает на адрес настройки.
[ 269.115322] usb 2-2: устройство не отвечает на адрес настройки.
[269.334860] usb 2-2: устройство не принимает адрес 25, ошибка -71
[269.335263] usb usb2-port2: попытка выключения и выключения питания
[ 270.545312] usb 2-2: устройство не отвечает на адрес настройки.
[ 270.765244] usb 2-2: Устройство не отвечает на адрес настройки.
[270.984922] usb 2-2: устройство не принимает адрес 26, ошибка -71
[ 271.215265] usb 2-2: устройство не отвечает на адрес настройки.
[ 271.435271] usb 2-2: устройство не отвечает на адрес настройки.
[271.654947] usb 2-2: устройство не принимает адрес 27, ошибка -71
[271.655343] usb usb2-port2: невозможно перечислить USB-устройство
[ 272.085001] usb 1-1.1: новое высокоскоростное USB-устройство номер 5 с использованием xhci_hcd
[ 273.145469] usb 2-2: устройство не отвечает на адрес настройки.
[ 273.365365] usb 2-2: устройство не отвечает на адрес настройки.
[273.585013] usb 2-2: устройство не принимает адрес 28, ошибка -71
[ 273.815367] usb 2-2: устройство не отвечает на адрес настройки.
[ 274.035413] usb 2-2: устройство не отвечает на адрес настройки.
[274.255037] usb 2-2: устройство не принимает адрес 29, ошибка -71
[274.263447] usb usb2-port2: попытка выключения и выключения питания
[ 275.025412] usb 2-2: устройство не отвечает на адрес настройки.
[ 275.245477] usb 2-2: устройство не отвечает на адрес настройки.
[275.465093] usb 2-2: устройство не принимает адрес 30, ошибка -71
[ 275.695434] usb 2-2: устройство не отвечает на адрес настройки.
[ 275.915439] usb 2-2: устройство не отвечает на адрес настройки.
[276.135142] usb 2-2: устройство не принимает адрес 31, ошибка -71
[276.143608] usb usb2-port2: невозможно перечислить USB-устройство
[ 277.225494] usb 2-1: устройство не отвечает на адрес настройки.
[ 277.445492] usb 2-1: устройство не отвечает на адрес настройки.
[277.665166] usb 2-1: устройство не принимает адрес 32, ошибка -71
[ 278.705210] usb 1-1.1: новое высокоскоростное USB-устройство номер 6 с использованием xhci_hcd
[ 279.875710] usb 2-1: устройство не отвечает на адрес настройки.
[ 280.095620] usb 2-1: устройство не отвечает на адрес настройки.
[280.315260] usb 2-1: устройство не принимает адрес 34, ошибка -71
[ 280.545634] usb 2-1: устройство не отвечает на адрес настройки.
[ 280.765611] usb 2-1: устройство не отвечает на адрес настройки.
[280.985280] usb 2-1: устройство не принимает адрес 35, ошибка -71
[280.993740] usb usb2-port1: попытка выключения и выключения питания
[ 281.755646] usb 2-1: устройство не отвечает на адрес настройки.
[ 281.975646] usb 2-1: устройство не отвечает на адрес настройки.
[282.195368] usb 2-1: устройство не принимает адрес 36, ошибка -71
[282.425667] usb 2-1: Устройство не отвечает на адрес настройки.
[ 282.645665] usb 2-1: устройство не отвечает на адрес настройки.
[282.865366] usb 2-1: устройство не принимает адрес 37, ошибка -71
[282.873826] usb usb2-port1: невозможно перечислить USB-устройство
[ 283.105694] usb 2-2: устройство не отвечает на адрес настройки.
[ 283.325685] usb 2-2: устройство не отвечает на адрес настройки.
[283.545360] usb 2-2: устройство не принимает адрес 38, ошибка -71
[ 283.775712] usb 2-2: устройство не отвечает на адрес настройки.
[ 283.995714] usb 2-2: устройство не отвечает на адрес настройки.
[284.215384] usb 2-2: устройство не принимает адрес 39, ошибка -71
[284.223859] usb usb2-port2: попытка выключения и выключения питания
[ 284.985762] usb 2-2: устройство не отвечает на адрес настройки.
[ 285.205835] usb 2-2: устройство не отвечает на адрес настройки.
[285.425431] usb 2-2: устройство не принимает адрес 40, ошибка -71
[ 285.655770] usb 2-2: устройство не отвечает на адрес настройки.
[ 285.875801] usb 2-2: устройство не отвечает на адрес настройки.
[286.095503] usb 2-2: устройство не принимает адрес 41, ошибка -71
[286.103979] usb usb2-port2: невозможно перечислить USB-устройство
РЕДАКТИРОВАТЬ 6
Для меня ошибки dmesg выглядели так, как будто мой пи страдает от мощности. У меня есть Allnet NAS с головкой Rock-Pi SATA. Он будет питаться от блока питания мощностью 45 Вт через USB-C. Сами жесткие диски подключены через порты SATA и GPIO на Raspberry, но жесткие диски дополнительно подключены через порт USB3 <-> USB3 от платы PI4 к порту Rock-Pi SATA.
Я отключил это. Загрузил систему и после загрузки снова добавил порты USB3. После этого dmesg молчит об ошибках чтения. Кажется, все в порядке, потому что ничего не произошло... действительно странно.
