Добавление большого объема хранилища (500 ТБ) к 1 ВМ

Как лучше всего добавить большой объем хранилища на один хост Windows в VMware vSphere 7? Скажем 500ТБ? В прошлом я создал несколько хранилищ данных VMFS и разделил их на диски в Windows, один VMFS на 50 ТБ и один диск Windows на 50 ТБ, умноженный на 10. Однако новое приложение будет работать лучше, если все это будет объединено в один диск... Я знаю, что могу комбинировать их в Windows, но это кажется неэффективным беспорядком.

Я не знаю, насколько серьезно относиться к этому вопросу, учитывая огромный бюджет, который у вас явно сочетается с отсутствием опыта, на который указывает ваш вопрос, но я отвечу так, как если бы вы были серьезны.

Насколько мне известно, размер одного виртуального жесткого диска может достигать 62 ТБ (https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.vm_admin.doc/GUID-BF2C8E24-B530-4C94-85F6-09E5AE781466.html).
Вам потребуется настроить программный RAID в Windows, состоящий из нескольких виртуальных дисков меньшего размера. Это быстро усложнит обслуживание.

Вероятно, вам лучше рассмотреть масштабируемые решения для хранения данных с открытым исходным кодом или проприетарные решения, и не забудьте заложить в бюджет резервное копирование и аварийное восстановление.

В этот момент вам действительно следует обсудить дизайн программного обеспечения с вашими разработчиками: как будет использоваться это хранилище? Можно ли разбить его на более мелкие части? Все ли они должны быть доступны с одинаковым приоритетом, или хранилище можно разделить на высокопроизводительные и более дешевые пулы соответственно? Возможен ли вариант размещения решения у облачного провайдера? И так далее.

Лучше всего было бы, если бы вы объединили все эти файловые системы в одну файловую систему и смонтировали единую файловую систему в Windows. Создание какого-либо сетевого JBOD не очень удобно для производительности и имеет много недостатков. Если вы действительно настаиваете на этом, я бы предложил следующее.

Настройте каждую из ваших десяти систем NAS емкостью 50 ТБ, чтобы они обслуживали свое отдельное объединенное дисковое пространство в качестве устройства iSCSI для какого-либо сервера MasterNAS.

Затем сервер MasterNAS (должна быть система Linux) должен объединить все 10 устройств iSCSI в суперфайловую систему btrfs.

Тебе понадобиться sudo apt установить open-iscsi btrfs-progs (для сервера ubuntu/debian) для этого.

1. Вы настраиваете все свои 10 NAS так, чтобы они обслуживали все дисковое пространство как объединенное устройство iSCSI. Пример: Ваши NAS-серверы используют аппаратный рейд-контроллер, который сопоставляет все диски с 1 логическим диском. Этот 1 логический диск распространяется инициатор iSCSI.

2. Вы используете свой новый, производительный и независимый сервер MasterNAS, который «собирает/монтирует» все 10 целей iSCSI со всех 10 серверов NAS. Я предлагаю, чтобы этот MasterNAS использовал современный Linux и использовал btrfs в качестве файловой системы для дисков iSCSI-NAS.Затем вы просто создаете файловую систему super btrfs в одиночном режиме (что очень важно для какого-то классного устройства JBOD, которое использует передачу данных на уровне файловой системы). Вы можете сделать это так:

sudo mkfs.btrfs --data single /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj (это объединяет все 10 дисков в JBOD-подобную линейную файловую систему btrfs)

Вы можете смонтировать эту файловую систему super btrfs, просто используя любое из ее устройств, например: смонтировать /dev/sda /mnt.

Преимущество устройства, подобного btrfs JBOD, заключается в том, что в случае выхода из строя одного из серверов NAS ваша файловая система не выйдет из строя, вы «просто потеряете» файлы с автономного сервера NAS. (Хорошо, с настройками по умолчанию произойдет сбой, но восстановление данных намного проще, так как удаление файлов происходит на уровне файловой системы с помощью btrfs)

После выполнения всего этого вы устанавливаете сервер samba на свой MasterNAS и делитесь этой файловой системой super btrfs с вашей WindowsVM.

PS также есть бесплатный драйвер btrfs для Windows, но у меня нет с ним опыта --> https://github.com/maharmstone/btrfs

Вероятно, это не то, что вы хотите услышать, но не рассматривали ли вы возможность использования для этого какого-либо общедоступного облачного хранилища? Для заполнения 500 ТБ потребуется некоторое время, так зачем платить за это, пока вы точно не узнаете, что вам это нужно. Очевидно, вам нужно будет выбрать свое облако и какой сервис, но я просто хотел, чтобы вы подумали об этом, прежде чем бежать и тратить кучу денег в первый день на стену.