Я оператор камеры / видеоредактор, но я управляю нашей почтовой инфраструктурой для нашей команды из 2 человек в небольшой производственной компании.
У нас возникла проблема с низкой скоростью передачи по сети с одной из наших камер. Эта камера записывает на SD-карту (Kingston Canvas React 256 ГБ) последовательность DNG. Итак, после съемки на SD-карте есть папки для каждого клипа, содержащие десятки тысяч файлов .dng размером 1-2 МБ.
Мы загружаем кадры на ПК с Windows 10 (Alienware Aurora R10, R9-5900x, 32 ГБ ОЗУ, RTX 3080) с помощью DaVinci Resolve и его инструмента Clone, который проверяет файлы после копирования с помощью контрольной суммы. Если мы используем проводник для копирования файлов в сетевую папку, скорость будет такой же, поэтому я не думаю, что проблема связана с разрешением DaVinci. (Есть программы с дорогими лицензиями (например, YoYotta), которые утверждают, что копируют быстрее, но я их не пробовал). Кстати, то же самое на моем Macbook Air 2015 года с адаптером Thunderbolt 2-Ethernet.
Наш сервер — это старый Dell T320 с 16 ГБ ОЗУ и 5 дисками WD по 3 ТБ (не SMR), подключенными к контроллеру Raid H200, переведенному в режим IT. На нем работает XigmaNas, а диски находятся в пуле raidz1. Затем он передается через SMB. (Я знаю, что этот сервер очень медленный и имеет низкую емкость для того, что мы делаем, мы планировали обновить его уже почти год до 12 дисков и твердотельного накопителя для сети L2ARC и 10 Гбит / с, но мы еще не были могу найти свободную неделю, когда нет запланированных проектов, и я могу сделать обновление.)
У нас есть встроенный ПК с PfSense для нашего маршрутизатора и брандмауэра, и мы используем неуправляемый 8-портовый коммутатор Zyxel для подключения компьютеров. Он может обрабатывать полное гигабитное соединение во всех тестах и тестах, которые я пробовал.
Итак, проблема в следующем. Когда я начинаю передачу, она начинается со скорости 70-80 Мбит/с, быстро падает до 10 МБ/с примерно за полминуты и медленно до 2-3 МБ/с за пару часов. Если передача одной папки завершена, следующая снова запускается на полной скорости. Так что если карта забита кучей папок (так поменьше роликов) это не так уж и плохо, перенос делается за пару часов. А вот когда мы заполняем карту 1-2 роликами, то есть 1-2, 100-150 Гб фолерами, содержащими 1-2 Мб файлы, то это занимает буквально больше суток.
Когда мы используем другие наши камеры, которые записывают в формате 4K-6K, гораздо большие файлы (для более длинных клипов это файлы размером 100-800 ГБ) передаются на полной скорости, поэтому обычно максимальная скорость составляет 112 МБ/с в течение всей продолжительности. передачи.
Передача небольших файлов, конечно, немного медленнее при емкости пула выше 80-90% (это цифры, которые я написал выше), но когда она составляет чуть менее 50%, самая медленная скорость составляет 5 МБ/с, что не не так далеко от 1-2 МБ/с. Так что это все еще медленно, и я не думаю, что пул переполнен, потому что большие файлы все еще передаются на полной скорости. Я не помню, как это было, когда бассейн был пуст.
Когда мы работаем с видео в DaVinci Resolve, он медленно индексирует всю папку, в которой находятся файлы (5-10 минут для 256 ГБ), но как только это сделано, он читает файлы на полной гигабитной скорости. Так что это можно сделать, поэтому я предполагаю, что это проблема с накладными расходами сети.
Итак, что мне не хватает? Где, кажется, проблема? Я гуглил и читал форумы почти год с перерывами, но нигде не могу найти точную проблему, и я не могу по-настоящему экспериментировать на сервере, потому что он используется каждый день.
Если это архитектура всей установки и нам придется перейти на сервер на базе SSD, я бы предпочел другое решение, потому что сейчас у нас нет средств для такого масштабного обновления. Я думал о написании скрипта, который делает zip или tar из папок, передает их по сети, а затем распаковывает. Но тогда мне пришлось бы делать контрольную сумму и так далее, а DaVinci Resolve делает это довольно элегантно, и вы можете запланировать передачу и тому подобное. И это графический интерфейс. Так что я был бы пластырем. Но я ищу любые решения.
Спасибо вам, ребята, заранее.
Бенце Сентиваньи
