у нас есть кластер hadoop (платформа Ambari с версией HDP - 2.6.4)
и мы выполнили шаг проверки, чтобы понять, есть ли у нас под блоками реплик
первая проверка была с:
су hdfs
hdfs fsck / -->
это дает результаты:
Общий размер: 17653549013347 Б (Общий размер открытых файлов: 854433698229 Б)
Всего каталогов: 843714
Всего файлов: 11752836
Всего символических ссылок: 0 (в настоящее время пишется файлов: 16)
Всего блоков (проверено): 11792203 (средний размер блока 1497052 Б) (Всего блоков открытых файлов (не проверено): 6381)
Минимально реплицированные блоки: 11792203 (100,00001 %)
Блоки с избыточной репликацией: 0 (0,0 %)
Недореплицированные блоки: 0 (0,0 %)
Неверно реплицированные блоки: 0 (0,0 %)
Коэффициент репликации по умолчанию: 3
Средняя репликация блока: 3,0
Поврежденные блоки: 0
Отсутствующие реплики: 0 (0,0 %)
Количество дата-узлов: 6
Количество стоек: 1
так как мы можем видеть выше Недореплицированные блоки равно 0
НО
когда мы выполним следующую проверку:
hdfs dfsadmin -отчет
тогда мы получаем
Настроенная емкость: 141275429535744 (128,49 ТБ)
Текущая емкость: 140886991802565 (128,14 ТБ)
Остаток DFS: 84748655941292 (77,08 ТБ)
Используется DFS: 56138335861273 (51,06 ТБ)
Используемая DFS%: 39,85%
Под реплицированными блоками: 4212067
Блоки с поврежденными репликами: 0
Отсутствующие блоки: 0
Отсутствующие блоки (с коэффициентом репликации 1): 0
поэтому сверху мы можем видеть, что недореплицированные блоки --> 4212067
о том, чтобы узнать, что такое право под номером реплики:
почему мы получаем различия между hdfs фск / и hdfs dfsadmin -отчет ?
Кстати - от Амбари мы получаем ~ те же результаты, что и от hdfs dfsadmin -отчет
