Каков наилучший показатель для автоматического масштабирования экземпляров графического процессора для получения выводов машинного обучения в облаке?

У нас есть API в AWS с экземпляром GPU, который делает логические выводы. У нас есть настройка автоматического масштабирования с минимальным и максимальным количеством экземпляров, но мы не уверены, какую метрику (использование GPU/CPU, использование RAM, среднюю задержку и т. д.) или комбинацию метрик следует использовать для определения момента появления нового экземпляр должен быть запущен, чтобы не отставать от входящих запросов.

Существуют ли передовые методы в отношении того, какие показатели следует использовать в этом сценарии? Инференс в нашем случае очень требователен к GPU.