Регистрация Войти
Рейтинг:1
King David avatar Server

HDFS + как отключить проверку "du -sk" на дисках узла данных

флаг gb
King David

Мы используем кластер HDP с 182 узел данных машины:

HDP версия - 2.6.4 Амбари версия 2.6.1

Отметим следующее поведение на узлы данных машины (такое происходит на всех узел данных машины и на всех дисках).

Когда мы выполняем команду, как показано выше:

ps -eo s, пользователь, cmd | grep ^[RD]
D hdfs du -sk /grid/sdj/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
D hdfs du -sk /grid/sdm/hadoop/hdfs/data/current/BP-1018134753-10.3.6.170-1530088122990
R root ps -eo s, пользователь, cmd

Примечание. Каждый диск в узел данных является 5,4 Тбайт.

Мы это видим HDFS запускает "du-sk" на узел данных диски

Нам это не нравится, потому что это означает высокую нагрузку на CPU Avrg, а иногда даже плохую производительность.

Мы понимаем, что HDFS нужно запустить "сумерки" чтобы проверить место на диске, но с другой стороны, его цена - высокая загрузка процессора, а иногда даже низкая производительность.

Можно ли сказать HDFS каким-то образом отключить эту проверку?

54
0 + 0
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.