У меня странный вопрос (по крайней мере, для меня!), но я не знаю, как к нему подойти.
Задний план
У меня есть несколько пакетных заданий (скрипты python, вызываемые через скрипт cron или python, вызываемые скриптом bash). Например, 20 заданий ETL и 20 заданий обработки данных. Это происходит в разное время.
Текущий подход
Я держу свой сервер включенным и запускаю задания cron для запуска сценариев в назначенное время (они не все запускаются одновременно... один может запускаться в 13:00, а другой - в 17:00). Это работает отлично прямо сейчас
Проблема
Я хочу сэкономить деньги, и задания не обязательно должны запускаться точно в то время, которое я установил, они могут отставать на несколько минут, час или два, поэтому я подумал об использовании вытесняемых экземпляров, которые запускают сервер по расписанию.
Я думал о том, чтобы запускать сервер каждый час, а затем он обрабатывает любые задания, которые не соответствуют их расписанию, но еще не были выполнены.
Я понятия не имею, как это сделать! Есть ли способ запланировать это в Ubuntu? Я думал о настройке внешней БД и наличии сценария, который запрашивает его, чтобы увидеть, какие процессы нужно запустить, но я чувствовал, что это излишество, я подозреваю, что это может быть распространенная проблема, которая имеет более простое решение.
Пожалуйста, дай мне знать!
