Разрешить SFTP и разместить ACL на соединениях SSH

У меня немного уникальная ситуация с Ubuntu 20.04. Мне нужно разрешить SFTP и SSH на порту 22, но я хочу ограничить консольные подключения SSH с помощью ACL. Я не могу сделать это на уровне порта, насколько мне известно, поскольку трафик выглядит одинаково для моего брандмауэра, поэтому все, что я могу сделать, это разрешить TCP 22 для сервера.

Я уже использую /usr/sbin/nologin в качестве оболочки в /etc/passwd для учетных записей пользователей, которым нужен только SFTP, однако есть законные причины для получения доступа к консоли через порт 22 для некоторых пользователей, и я не хочу, чтобы они принуждение или иная эксплуатация.

Я хочу ограничить эти консольные сеансы (независимо от пользователя) только внутренними (частными) адресами, при этом разрешая SFTP из группы общедоступных адресов, определенных в моем брандмауэре.

Я знаю, что простой ответ на этот вопрос — просто переключиться на FTPS, который я настроил с помощью vsftpd, однако существуют ограничения приложений, которые требуют использования SFTP в некоторых обстоятельствах.