Рейтинг:2

Восстановление неактивного RAID5

флаг us

У меня есть 7 x 14 ТБ RAID5 на моей рабочей станции с Centos 7. На прошлой неделе один из дисков был отмечен SMART (/dev/sde) как неисправный. Я использовал mdadm, чтобы пометить этот диск как неисправный и удалить его из массива, и... короче говоря... в итоге я вытащил не тот диск!

Теперь у меня Centos в аварийном режиме (моя операционная система находится на диске вне массива), и я могу запустить mdadm для анализа массива. Кажется, мой массив /dev/md127 неактивен, и все диски помечены как запасные.

кошка /proc/mdstat
Личности:
md127 : неактивный sdc[6](S) sdf[9](S) sdg[10](S) sde[8](S) sdd[7](S) sdb[5](S) sdh[11]( С)
95705752576 блоков супер 1.2

неиспользуемые устройства: <нет>

По какой-то причине здесь он отображается как raid0:

mdadm -D /dev/md127

/dev/md127:
Версия : 1.2
Уровень рейда: рейд0
Всего устройств: 7
Постоянство: суперблок постоянен

Состояние: неактивно
Рабочие устройства: 7

Имя : c103950:127
UUID: a6f44e2c:352b1ea0:bd25d626:cac0177c
События : 539502
Номер Основной Младший RaidDevice

   - 8 16 - /dev/sdb
   - 8 32 - /dev/sdc
   - 8 48 - /dev/sdd
   - 8 64 - /dev/sde
   - 8 80 - /dev/sdf
   - 8 96 - /dev/sdg
   - 8 112 - /dev/sdh

И когда я изучаю отдельные диски:


mdadm -E /dev/sdb
/dev/sdb:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352blea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: чистое
UUID устройства: 136b95a5:1589d83d:bdb059dd:e2e9e02f

Время обновления: четверг, 15 июля, 12:47:37 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: 4e727166 - правильно
События : 539502

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: активное устройство 1
Состояние массива: AAAA..A ('A'== активно, '.' == отсутствует, 'R' == замена)

****** 

mdadm -E /dev/sdc
/dev/sdc:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352b1ea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: чистое
UUID устройства: 64cac230:bc1e2bf5:65323067:5439f101

Время обновления: четверг, 15 июля, 12:47:37 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: ecd93778 - правильно
События : 539502

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: активное устройство 6
Состояние массива: AAAA..A ('A'== активно, '.' == отсутствует, 'R' == замена)

******

mdadm -E /dev/sdd
/dev/sdd:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352b1ea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: чистое
UUID устройства: 2dd7e6d6:6c035b33:0072796b:d3685558

Время обновления: четверг, 15 июля, 12:47:37 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: 2bda98d - правильно
События : 539502

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: активное устройство 0
Состояние массива: AAAA..A ('A'== активно, '.' == отсутствует, 'R' == замена)

******

mdadm -E /dev/sde
/dev/sde:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352b1ea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: активно
UUID устройства: 8e6bd6de:15483efa:82c1917d:569ee387

Время обновления: четверг, 13 июля, 10:30:54 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: c050eb4 - правильно
События : 539489

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: активное устройство 4
Состояние массива: AAAAAAA ('A'== активно, '.' == отсутствует, 'R' == замена)

******

mdadm -E /dev/sdf
/dev/sdf:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352b1ea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: чистое
UUID устройства: 93452dc8:3fba28ce:c7d33d00:7c1838fd

Время обновления: четверг, 15 июля, 12:47:37 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: e995ceb8 - правильно
События : 539502

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: активное устройство 2
Состояние массива: AAAA..A ('A'== активно, '.' == отсутствует, 'R' == замена)

******

mdadm -E /dev/sdg
/dev/sdg:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352b1ea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: чистое
UUID устройства: 48fe7b1b:751e6993:4eb73b66:a1313185

Время обновления: четверг, 15 июля, 12:47:37 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: f81be84f - правильно
События : 539502

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: Активное устройство 3
Состояние массива: AAAA..A ('A'== активно, '.' == отсутствует, 'R' == замена)

******

mdadm -E /dev/sdh
/dev/sdh:
Магия: a92b4efc
Версия : 1.2
Карта функций: 0x0
UUID массива: a6f44e2c:352b1ea0:bd25d626:cac0177c
Имя : c103950:127
Время создания: Чт 26 июля 12:21:27 2018
Уровень рейда: рейд5
Рейдовые устройства: 7

Доступный размер разработчика: 27344500736 секторов (13038,87 ГиБ 14000,38 ГБ)
Размер массива: 82033502208 КиБ (78233,24 ГиБ 84002,31 ГБ)
Смещение данных: 264192 сектора
Супер смещение: 8 секторов
Неиспользуемое пространство: до 264112 секторов, после 0 секторов
Состояние: чистое
UUID устройства: 80448326:c8b82624:a8e31b97:18246b58

Время обновления: четверг, 15 июля, 12:04:35 2021 г.
Журнал плохих блоков: 512 записей доступны по смещению 32 сектора
Контрольная сумма: 9800dd88 - правильно
События : 539497

Макет левосимметричный
Размер блока: 512 КБ

Роль устройства: активное устройство 5
Состояние массива: AAAA.AA ('A'== активно, '.' == отсутствует, 'R' == замена)****** 

/dev/sde — неисправный диск, а /dev/sdh — тот, который я вытащил по ошибке. Обратите внимание на разницу в событиях и времени обновления. Теперь я хочу собрать массив и задаться вопросом, какой самый безопасный способ сделать это.

Пожалуйста помоги! Спасибо за чтение.

djdomi avatar
флаг za
О, отлично, у тебя был Raid ZERO - восстанови бэкап, молодец :-)
shodanshok avatar
флаг ca
Можете попробовать с `mdadm --incremental /dev/sd[abcdfgh]`?
Mike Andrews avatar
флаг ng
Mdadm должен уберечь вас от ошибок, если вы НЕ используете `--force`. Это использование `--force`, когда люди сталкиваются с проблемами. Вы хотите собрать массив, включая диск, который вы вытащили, но без диска, который вы `--не удалось`. Затем вы `--повторно добавите` тот накопитель, который `--потерпел неудачу, когда массив заработает и заработает. Вам нужно будет запустить массив. Я согласен с @shodanshok, вы можете просто использовать инкрементную сборку, чтобы вернуться к работе.
lalmagor avatar
флаг us
Спасибо за ваши ответы. --incremental кажется именно тем, что мне нужно, но я все еще беспокоюсь, что он попытается собрать это как Raid0, потому что это то, что он показывает сейчас, когда я проверяю с помощью mdadm --D. Могу ли я сделать «mdadm --incremental --level=5 /dev/sd[abcdfgh]»? или я должен сделать «mdadm --create --verbose /dev/md127 --level=5 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh»?
shodanshok avatar
флаг ca
Я думаю, что --incremental не позволяет указать уровень рейда. В любом случае суперблоки ваших жестких дисков, похоже, правильно описывают массивы raid5, поэтому я бы попробовал `--incremental` (*** без *** принуждения) для запуска массива.
lalmagor avatar
флаг us
Я использовал «mdadm --stop /dev/md127», а затем смог запустить «mdadm --incremental» для каждого из моих шести хороших дисков, но он все еще говорит «недостаточно для запуска». Когда я запускаю "mdadm --D /dev/md127", он остается прежним, со всеми пустыми файлами и думает, что это raid0.
lalmagor avatar
флаг us
как насчет "mdadm --assemble /dev/md127 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh"? Как вы думаете, это сработает? Могу ли я указать уровень рейда здесь?
Рейтинг:0
флаг us

Я смог решить это, запустив:

mdadm --assemble --force /dev/md127 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh

Который восстановил мой массив в деградированном состоянии с 6/7 дисками. Это не сработало без опции --force. Думаю, мне повезло, что между /dev/sdh и остальными не так много различий в подсчете событий. После этого удалось добавить новый диск в массив с помощью:

mdadm --manage /dev/md127 --добавить /dev/sde

После 49 часов восстановления мой массив снова был готов.

Я думаю, что моя проблема была похожа на: https://unix.stackexchange.com/questions/163672/missing-mdadm-raid5-array-reassembles-as-raid0-after-powerout

Я также использовал это руководство: https://web.archive.org/web/20210302160944/http://www.tjansson.dk/2013/12/replacing-a-failed-disk-in-a-mdadm-raid/

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.