Согласно RFC 4106, биты ESN должны быть частью формата AAD. Значит ли это, что биты ESN должны добавляться к пакетам?
Нет. Дополнительные аутентифицированные данные (AAD), включенные в расчет AES-GCM, не отправляются в этой форме. В этом весь смысл AAD, они не являются частью зашифрованных данных.
Алгоритмы комбинированного режима теоретически могут реплицировать полный порядковый номер (и SPI) в данных полезной нагрузки ESP, если они не используют AAD, а только аутентифицируют зашифрованные данные (см. раздел 2 RFC 4303). Формат этих данных должен быть определен для каждого алгоритма. Как вы можете видеть в разделе 3 RFC 4106, AES-GCM не требует кодирования SPI и порядкового номера, только IV.
В каком алгоритме нам нужно добавить заполнение icv при использовании ESN?
См. конец раздела 3.3.2.1 RFC 4303, в котором объясняется, что это неявное заполнение может быть необходимо для алгоритмов целостности, которые требуют, чтобы ввод был кратен определенному размеру блока. HMAC обрабатывает заполнение внутренних размеров блоков внутри, поэтому IPsec не нужно добавлять дополнительное заполнение (см., например, раздел 2.2 RFC 4868).