Рейтинг:1

Размещение несогласованных рабочих нагрузок в Azure

флаг cn

В нашей компании есть много алгоритмов, которым нужно обрабатывать большие наборы данных. Время запуска этих алгоритмов варьируется от нескольких минут до часов. Их также необходимо запускать от случая к случаю от нескольких раз в неделю до одного раза в месяц. Мы хотели бы активировать эти алгоритмы с помощью такого события, как загрузка файла в хранилище BLOB-объектов Azure или вызов API.

Чтобы решить эту проблему, я начал изучать очередную обработку задач в Azure. Сначала я подумал, что функции Azure могут быть хорошим решением, потому что они оплачиваются по мере использования.Проблема в том, что они не предназначены для длительных операций. Поэтому я начал искать в другом месте. Я нашел две довольно хорошие альтернативы, а именно Azure WebJobs или Jobs в Azure Kubernetes Services. Проблема с ними обоими заключается в том, что им по-прежнему нужен активный сервер, даже если на них ничего не работает. Это может быть довольно дорого для задач, которые нужно запускать только один раз в месяц.

Мой вопрос таков: существует ли решение в Azure для размещения длительных заданий без необходимости использования выделенного сервера, работающего круглосуточно и без выходных?

Рейтинг:4
флаг cn

Отделите компонент отправки заданий от рабочих, которые их обрабатывают. Возможно, отправка реализована так же, как в функциях и очередях Azure, когда входные данные загружаются куда-то в хранилище и создаются указатели на это. Часть функции заключается в масштабировании рабочих процессов с нуля, возможно, с помощью масштабируемых наборов виртуальных машин.

Может быть некоторая работа по развитию, если не используется существующая система планирования работы.

Или тратьте деньги на постоянную работу Kubernetes. Да, для AKS требуется запустить хотя бы один узел. Может оказаться полезным, особенно если он также запускает другие приложения-контейнеры.

Рейтинг:0
флаг br

Возможно, другим решением предложенного Джоном будет использование виртуальных машин Azure Spot: https://azure.microsoft.com/en-us/services/virtual-machines/spot/

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.