Я ищу многотомный индексированный формат архива с возможностью поиска и добавления.
- многотомный = разделить архив размером ТБ на гигабайтные фрагменты
- проиндексирован = добавить полный индекс в конец архива с информацией о смещении для каждого файла в потоке архива
- доступный для поиска = разрешить быстрое извлечение файла ABC из фрагментов 15 и 16, при этом присутствуют только эти фрагменты плюс последний фрагмент
- присоединяемый = добавить данные и обновить индекс после первоначального создания архива
Существует аналогичный вопрос здесь, на Askubuntu, но ограничен rar, который, по-видимому, соответствует всем четырем параметрам, но не является присоединяемым и многотомным одновременно. смола можно добавлять, но для извлечения какой-либо части необходимо прочитать весь архив. многотомные zip-файлы, по-видимому, нередактируемый и так же 7-зип. зпак довольно близко, но, очевидно, поток должен присутствовать полностью для извлечения. Интересен такой подход gzipi которые кошки сжимают куски вместе и добавляют к ним индекс. Идея может быть обобщена для нового инструмента, но реализация, похоже, специализируется только на журналах и текстовых файлах.