Можно ли разместить базу данных на одном сервере, а сами данные на другом?

Мы планируем провести исследование ИИ с помощью HPC. Этот HPC будет использовать созданные нами наборы данных. Эти наборы данных представляют собой довольно большие подмножества всего набора данных (~ 1 ТБ). Все данные, которые мы собрали в ходе экспериментов, будут храниться в базе данных SQL. Мы хотим использовать SQL-запросы для извлечения из базы данных подмножеств, актуальных в данный момент времени, поэтому для этого мы разработали службу RESTful, которая позволяет людям отправлять очищенные запросы.

Есть некоторые ограничения, которые в настоящее время останавливают нашу установку.

У нас есть хост для службы RESTful, но использование на нем хранилища ~1 ТБ — это крайняя мера, и мы бы предпочли найти альтернативный способ делать что-то. Мне было интересно, возможно ли разместить базу данных на одном сервере, но фактические данные находятся на другом сервере? Так что, когда исследователь отправляет запрос в RESTful-сервис, SQL-сервер выбирает, какие файлы отправлять, возвращает их в restful-сервис, restful-сервис возвращает ссылки для скачивания на все наборы данных.

В настоящее время мы используем MySQL для хранения данных и экземпляр Flask, чтобы исследователи могли отправлять новые эксперименты и получать их.

Здесь три компонента

• Flask, обслуживающий ваш REST API,
• mysqld, который является работающим экземпляром базы данных, и
• файлы данных удалось этим экземпляром базы данных.

Нет причин, по которым Flask должен делить сервер с двумя другими, и много хороших причин безопасности, почему этого делать не следует. Он будет совершенно счастлив, учитывая правильную ConnectionString для подключения к экземпляру mysql, работающему на другом сервере.
Вероятно, это лучшее место для «разделения» вашей архитектуры.

Экземпляр базы данных и его файлы данных должны быть как можно ближе друг к другу, т. е. как можно меньше «мешать» и дестабилизировать вашу базу данных. (Действительно, я бы пошел дальше и предложил рассматривать их как единое целое, базу данных, и полностью забыть о «файлах»).

Наличие сервера базы данных с подключенными дисковыми устройствами — это нормально.

Позвольте задать вам вопрос: что, по вашему мнению, представляет собой SAN, когда-либо построенный? Сеть хранения данных означает, что данные находятся на другой машине, специально созданной для этого. ISCSI — это протокол для предоставления доступа к блочному хранилищу (т. е. к виртуальным дискам, а не к файловым ресурсам). Почему вы думаете, что он существует?

Итак, очевидный ответ — да.

Итак, в основном вы хотите иметь свои данные на SQL-сервере и другом SQL-сервере, который извлекает данные из «основного» SQL-сервера для вставки, обновления, выбора и т. д.?

Если это так, то да. Вы можете связать базу данных с другого сервера с вашим MySQL-сервером.