Регистрация Войти
Рейтинг:0
Noob with 0 knowledge avatar Server

Хранилище для миллионов аудиофайлов с возможностью поиска (по возможности)

флаг us
Noob with 0 knowledge

Я искал решение этой проблемы с хранением файлов на 7 ТБ, все они являются аудиофайлами, эти файлы являются записями сервера freepbx на основе звездочки.

Сначала я установил proxmox на сервер с ssd для более быстрого доступа, а затем nextcloud для доступа к файлам через Интернет (этот сервер работает только в локальной сети, поэтому безопасность здесь не проблема), поскольку я продолжаю загружать файлы, я понял, что это плохо Идея, так как поиск одного конкретного файла занимает много времени, и я использую только 2 ТБ, я некоторое время играл со следующим облаком и знаю, что могу искать через ssh или webdav, но это также занимает много времени потому что к этим файлам необходимо регулярно обращаться нескольким пользователям.

поэтому я ищу решение этой проблемы, так как у меня все еще есть данные на 5 ТБ, и я ищу либо веб-доступ, либо любой другой способ легко найти и извлечь данные из хранилища или совершенно новую ОС / веб-сервер, который может помочь в хранении и доступ к файлам.

у меня есть ssd для загрузки и диски 4x4 ТБ для хранения на рейде 5 с 2-мя гигабитными сетевыми картами на этом сервере для доступа с установленным proxmox и запущенными некоторыми виртуальными машинами, данные структурированы как год> месяц> дата> 1000 файлов с номером телефона на там имя для идентификации.

Спасибо С уважением,

54
0 + 0
флаг vn
ceejayoz
Для этого вам, вероятно, понадобится что-то вроде https://opensearch.org/ или https://www.elastic.co/. Или даже хостинговое решение, такое как https://www.algolia.com/.
0
Ответить
Noob with 0 knowledge avatar
флаг us
Noob with 0 knowledge
Привет, я просмотрел opensearch и elastic, но они предназначены для анализа данных и в основном используются для журналов, и я не смог найти никаких ссылок на хранилище данных. Я могу ошибаться, потому что эти 2 являются для меня неизведанной территорией, и может быть плагин, который может помочь с этим, но я все еще теряюсь в этом, был бы очень признателен, если бы вы могли направить меня в правильном направлении.
0
Ответить
флаг vn
ceejayoz
Я упоминаю об этом, потому что большинство ваших вопросов, кажется, связаны с поиском; «это плохая идея, так как поиск одного конкретного файла занимает много времени» и т. д. Хранение и поиск файлов — это в значительной степени разные проблемы.
1
Ответить
anx avatar
флаг fr
anx
Пара терабайт аудиофайлов должна равняться общему размеру имени файла, который в наши дни соответствует типичной оперативной памяти. Возможно, вы ждете, пока приложение (*Nextcloud*) создаст индекс файлов по запросу, и если бы все файлы были кэшированы в его базе данных, это было бы достаточно быстро?
0
Ответить
Noob with 0 knowledge avatar
флаг us
Noob with 0 knowledge
в настоящее время я использую nextcloud, и это хорошо, пока мне не нужно получить доступ к записям, например, мне нужна запись определенного числа в поиске, вы не можете просто скачать, вам нужно открыть каждую конкретную папку, чтобы загрузить все, было бы действительно здорово, если бы я мог просто скачать все сразу, и nextcloud действительно создает базу данных для быстрого доступа, но загрузка - это боль.
0
Ответить
Рейтинг:2
1F987 avatar Server
флаг in
1F987

Я тоже работаю с кучей аудиофайлов.

Лучший способ, который я нашел, чтобы справиться с этим:

  • Используйте SSD-диски и зеркало RAID1/ZFS для ускорения доступа.
  • Не работайте с файлами, а работайте над именем файла и метаданными: создайте простой и легкий индекс с возможностью поиска. База данных, ElasticSearch работает хорошо, но ест оперативную память, PostgreSQL с столбцами индексированных полей тоже может справиться с этой задачей.
  • Просто используйте ссылку на путь к файлу при активации доступа.

Мой рабочий процесс:

  1. Просматривайте текстовое дерево и имена файлов с простой веб-страницы (самодельная)
  2. Нажмите, чтобы получить доступ к файлу
  3. Веб-страница извлекает файл на основе пути и передает его пользователю (в локальной сети или через Интернет).

Кстати, с таким объемом будет интересно взглянуть на инструменты, используемые сборщиками данных, такие как

0 + 0
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.