Мне нужно загрузить большие текстовые файлы с другого компьютера через ссылку 10Gb, файлы, созданные внешним / программным обеспечением с закрытым исходным кодом, которые у меня нет доступа для изменения (например, чтобы заставить его сжимать выходные файлы)
В настоящее время использование сети и дискового ввода-вывода на этих машинах (исходной и целевой машинах) составляет 100%, что является узким местом системы.
Если бы исходная машина могла сжимать текстовые файлы, в первую очередь, не было бы никаких проблем, но у меня нет доступа к исходной машине (файлы rsync-ed на целевую машину, к которой у меня есть доступ)
Есть ли что-нибудь на целевой машине, что я могу сделать, чтобы хотя бы уменьшить нагрузку на диск целевой машины.
Мне пришла в голову нелепая идея: иметь подключенный к временной памяти диск с несколькими ГБ, смонтировать его как входной каталог rsync с исходной машины,
затем напишите программу для сжатия пары текстовых файлов каждый раз, запишите сжатый выходной файл (размер в 10 раз меньше по сравнению с исходными файлами) на жесткий диск и удалите исходные файлы с подключенного к памяти диска.
Есть ли инструмент, который уже делает это?! Любые другие рекомендации?
Я использую убунту 18.04.
С уважением
