Восстановить RAID5 с некорректируемыми секторами на нескольких дисках

Моя система программного RAID5 (mdadm) состоит из пяти дисков.В последнее время я получаю ошибки ввода-вывода при чтении определенных файлов. Большинство других файлов по-прежнему доступны для чтения.

Сначала я планировал выяснить, какой диск сломан (используя smartctl), и быстро заменить неисправный диск, чтобы восстановить массив до того, как другие диски также выйдут из строя. Однако smartctl показывает, что три диски имеют неисправимые ошибки.

Я полагаю, что mdadm по-прежнему должен иметь возможность перестраиваться до тех пор, пока поврежденные сектора этих трех дисков не пересекаются, что дает мне возможность менять местами и перестраивать один за другим.

Или тот факт, что у меня есть ошибка ввода-вывода, уже указывает на то, что четность потеряна и один и тот же сектор на нескольких дисках не читается? Есть ли какой-нибудь способ выяснить, пересекаются ли какие-либо неисправные сектора, и, таким образом, информация безвозвратно потеряна?

Стандартные процедуры таковы:

1. Всегда иметь хорошее, актуальное резервный (не менее двух самостоятельных копий в разных местах, не менее на разных носителях)
2. Постоянно монитор ваш RAID для проблем. RAID бесполезен, если допускается накопление ошибок.
3. Скраб дисков не реже одного раза в месяц. Это позволяет избежать накопления ошибок и предотвратить перестроение.
4. Рассмотреть возможность RAID 6 с двумя резервными дисками.

Вы, кажется, не восприняли это всерьез. Попробуйте восстановить то, что еще есть в настоящее время. Попытка перестроить этот почти вышедший из строя массив может привести к большему ущербу, чем вы ожидаете.

Если данные достаточно ценны, найдите надежную и способную службу восстановления данных. Отложите четырех-пятизначную сумму наличными. В противном случае промойте и повторите - замените диски, переформатируйте, переустановите и отнеситесь к стандартным процедурам более серьезно.

1. Вы правы в том, что если нечитаемые сектора "не пересекаются", т.е. лежат в разных страйпах, то MD RAID май восстановить данные с помощью четности. Но он может выкинуть какой-то диск во время восстановления, и тогда шансы значительно снизятся.

2. Существует общее правило восстановления данных: всегда начинайте с необработанного дампа. Это гарантирует вам неограниченные попытки: если вы что-то напутаете, вы можете начать заново с дампа.Так что в общем можно клонировать все умирающие диски на несколько рабочих, прочитав ошибки, а потом из новых дисков собрать RAID.

3. Вы можете начать с клонирования каждого диска посекторно для замены на спасение (т.е. нет с помощью процедуры восстановления MD RAID). Помимо копирования через ошибки, он создает то, что он называет лог-файл, которая на самом деле является картой плохих секторов. Когда вы клонируете все три из них, вы можете сравнить эти карты и выяснить, есть ли пересечения. Не выбрасывайте их, эти карты могут помочь вам во время восстановления.

4. Однако RAID5 очень неприятный зверь в смысле таких отвалов. Что может пойти не так? Если сектор вашего диска вообще не читается с ошибкой ввода-вывода, уровень RAID восстановит эти данные с других дисков; так было со старыми дисками. Но если он читает без ошибок, но возвращает неправильные данные, RAID не будет пытаться восстановить их по четности и вместо этого вернет эти неверные данные. спасение заполнит нечитаемые сектора нулями, которые будут считаны обратно, если вы позже соберете массив с этим устройством-клоном, поэтому это приведет к чтению нулей (поврежденных данных), где потенциально возможно восстановить исходные данные. RAID не гарантирует данные честность. И это настоящая проблема для всех вариантов, кроме RAID6 с двумя синдромами четности или RAID1 с более чем двумя зеркалами. И, как вы уже, наверное, догадались, наиболее разрушительно эта проблема проявляется в случае с RAID5. (Есть дополнительные соображения против этого, что-то о современных размерах дисков и их частоте ошибок по битам.)

5. Во время любой операции клонирования диск может полностью умереть. Тогда ты застрял. Существует возможность выполнить восстановление после этого момента, но это будет стоить вам много. Есть службы, где есть «чистые комнаты», и они могут, например. замените головки внутри жестких дисков и повторите попытку чтения; это медленно, подвержено ошибкам, и они, вероятно, берут с вас довольно много. Учтите это, если ваши данные очень ценны.

6. Поэтому имеет смысл клонировать исходные диски, а затем убрать клоны, собрать массив из оригинальный диски и попробовать клонировать с самого массива (/dev/мдХ). Если что-то пойдет не так (умирает диск), замените его клоном, а затем вручную восстановите битые страйпы (см. п.4), сверившись с лог-файлами (п.3). Это довольно тяжелая работа. Заметьте также, что вам нужно сэкономить дважды исходное пространство для выполнения восстановления. Или ничего не делайте сами, отдайте всю работу на аутсорсинг специалистам. Это цена, которую вы платите за неправильное обслуживание массива и данных.

7. И теперь у вас есть этот драгоценный опыт. Не вините массивы, вините себя, извлеките урок и правильно управляйте ими:

• Трижды подумайте, прежде чем использовать RAID5. Затем скажите «нет» и перейдите на другой уровень RAID.
• Регулярно очищайте массив. Это означает, что MD RAID будет считывать и сравнивать данные на дисках и звонить в колокольчик, если что-то пойдет не так (несоответствие, нечитаемый блок). Затем вы можете заменить плохое поведение на ранние симптомы. В хороших дистрибутивах это настроено «из коробки» (по крайней мере, в Debian).
• Следите за дисками и массивом, чтобы не пропустить важные признаки проблем.
• Наконец, добро пожаловать в клуб администраторов, которые регулярно создают резервные копии своих данных.