у нас есть кластер Hadoop, и мы заметили, что hdfs fsck дает следующие результаты
..............Статус: ЗДОРОВ
Общий размер: 58934628832 B
Всего каталогов: 127002
Всего файлов: 354214
Всего символических ссылок: 0 (файлов, которые сейчас записываются: 8)
Всего блоков (проверено): 349827 (средний размер блока 168467 Б) (Всего блоков открытых файлов (не проверено): 1)
Минимально реплицированные блоки: 349827 (100,0 %)
Блоки с избыточной репликацией: 0 (0,0 %)
Недореплицированные блоки: 101699 (29,071226 %)
Неверно реплицированные блоки: 0 (0,0 %)
Коэффициент репликации по умолчанию: 3
Средняя репликация блока: 2,6958897
Поврежденные блоки: 0
Отсутствующие реплики: 106386 (10,137011 %)
Количество дата-узлов: 5
Количество стоек: 1
мы можем увидеть Отсутствующие реплики: 106386
поэтому мы выполнили следующие шаги, но безуспешно
Hadoop fsck/-переместить
и
Hadoop fsck/-удалить
и
hadoop fsck / -files -blocks -locations
а также пытаемся исправить под реплику
су - <$hdfs_user>
bash-4.1$ hdfs fsck / | grep 'Под репликацией' | awk -F':' '{print $1}' >> /tmp/under_replicated_files
-bash-4.1$ для файла hdfs в `cat /tmp/under_replicated_files`; do echo "Исправление $hdfsfile:" ; hadoop fs -setrep 3 $hdfsfile; сделано
поэтому все вышеперечисленные шаги не решают проблему с отсутствующей репликой
любая другая идея, как продолжить с этого этапа?
