Рейтинг:2

Разрешить дисковому кешу использовать как можно больше оперативной памяти

флаг in

Недавно я узнал, что Ubuntu использует дисковый кеш / кеш файловой системы (размер отображается в системном мониторе). Я не видел никакой документации, в которой говорилось бы, что существует ограничение по умолчанию на объем оперативной памяти, который можно использовать для дискового кэша. Итак, я предположил, что размер дискового кеша может увеличиваться до тех пор, пока он полностью не поглотит оперативную память.

Однако я заметил кое-что, что говорит об обратном. Я тренирую глубокую нейронную сеть с большим набором данных. На одной машине с 32 ГБ ОЗУ дисковый кеш увеличивается до 27 ГБ (остальные другие приложения используют 3-4 ГБ и, следовательно, около 1 ГБ ОЗУ все еще свободно). Из-за этого дискового кэширования последующие эпохи обучения выполняются намного быстрее. Но на другой машине с 64 ГБ ОЗУ дисковый кеш увеличивается только до 18 ГБ (тот же набор данных, та же программа, более 30 ГБ ОЗУ все еще свободно). Из-за этого он не может кэшировать весь набор данных, и, следовательно, мои последующие эпохи обучения не получают выгоды от этого кэширования диска.

Я не понимаю, почему вторая машина не использует дополнительную оперативную память для кэширования всего набора данных. Единственная причина, о которой я могу думать, заключается в том, что существует ограничение на объем оперативной памяти, который можно использовать для дискового кэша на второй машине, но не на первой машине. Это правда? Если да, то как я могу увеличить этот лимит?

Не знаю, если это имеет значение, на первой машине установлена ​​Ubuntu 18.04, а на второй — Ubuntu 20.04.

PS: я искал на этом сайте, unix.stackexchange, stackoverflow и google, но ничего не нашел (может быть, я использую не те ключевые слова?)

David avatar
флаг cn
Начните с того, какую версию Ubuntu вы используете?
Nagabhushan S N avatar
флаг in
Спасибо. Добавил информацию. У первой машины 18.04, а у второй 20.04.

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.