Рейтинг:1

Использование git lfs для управления данными на сервере хранения

флаг cn

Я являюсь частью небольшой исследовательской группы по физике (10-15 человек), которая недавно приобрела сервер хранения, и я буду отвечать за его настройку. Таким образом, мне нужно было придумать лучший способ организовать данные, которые мы будем генерировать.

Исследуя лучший способ сделать это, я наткнулся на git lfs. Мы уже используем GitLab (облачную версию) для контроля версий наших кодов и легкого обмена ими между собой. Так что имеет смысл создать репозиторий «данных», где большинство файлов будут бинарными, храниться и отслеживаться через lfs.Однако похоже, что он загрузит файлы на сервер GitLab, лишив возможности компьютера-хранилища (к тому же, нам нужно будет купить у них хранилище).

Похоже, что решение для нас состоит в том, чтобы развернуть версию GitLab для сообщества на нашем сервере хранения. Теперь мои вопросы:

  1. Это единственный способ? В идеале я хотел бы иметь возможность сообщить GitLab, что наши файлы хранятся в другом месте, а репозиторий git просто указывает, что «в другом месте» находится наш сервер хранения?
  2. Если мне нужно развернуть GitLab CE, насколько сложно поддерживать такой сервер? Мой идеальный сценарий — нулевое обслуживание, т.е. один раз настроить и, пока никто не обновляет ОС, она не должна ломаться (см. комментарий ниже).
  3. В случае поломки данные будут храниться таким образом, чтобы кто-то мог легко получить их, т. е. они не будут сжаты в двоичный двоичный объект, где вам нужен работающий сервер для его извлечения. В идеале я должен иметь возможность даже читать данные с сервера при запущенной службе, поскольку мы можем выполнять некоторый анализ данных внутри этого компьютера.

Комментарий к пункту 2: я знаю, что невыполнение регулярных обновлений может оставить дыры в безопасности. Однако сохраненные данные не содержат конфиденциальной информации. Мы не имеем дело с личной информацией, и утечка или потеря данных будут иметь лишь незначительные последствия. С другой стороны, я постдок, и мне может понадобиться покинуть группу в любой момент в пользу постоянной должности. Поскольку группа сосредоточена на исследованиях в области физики, другие люди, которые придут после моего ухода, могут не иметь необходимых навыков для обслуживания сервера. Таким образом, потребность в системе для управления данными, которая практически не требует обслуживания.

Рейтинг:0
флаг jp

У тебя есть два варианта на мой взгляд.

  1. Запустите самостоятельный Gitlab сообщества на своем сервере хранения и используйте на нем git-lfs.
  2. Используйте git-приложение.

Git-приложение отслеживает расположение файлов в git, но фактическое содержимое файла может храниться в самых разных бэкэндах, например; rsync, s3, буп. Один из которых вы можете настроить на своем сервере хранения: https://git-annex.branchable.com/special_remotes/

Изменить, чтобы ответить на ваш вопрос об администраторе Gitlab CE. Мы используем его для небольшой команды разработчиков из 10 человек и около 100 репозиториев. Если вы не используете непрерывную интеграцию Gitlab, администрирование должно быть очень простым.

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.