Существует два варианта ECDSA: рандомизированный или детерминированный. Расчет подписи включает число $к$ который никогда не должен повторяться для разных сообщений с одним и тем же ключом. Есть два способа реализовать это: создание $к$ случайным образом или генерация $к$ детерминированным образом из ключа и сообщения. (Здесь я опускаю детали, а просто сосредоточусь на том, что имеет отношение к этому вопросу.) Два варианта создают совместимые подписи: невозможно сказать, какой вариант использовался для создания данной подписи. (Конечно, вы можете сказать это, попросив реализацию дважды подписать одно и то же сообщение и сравнив результаты.)
Первоначальное определение ECDSA рассматривало только рандомизированный вариант, и это единственный вариант, разрешенный NIST на момент публикации. ФИПС 186-4 (см. §6.3 и §6.4). RFC 6979 является спецификацией для детерминированного варианта.
Тестовые векторы NIST были созданы с использованием рандомизированного ECDSA. Следствием использования рандомизированного алгоритма является то, что для него не может быть тестов с известным ответом. Каждый раз, когда вы запускаете вычисление подписи, вы получаете другой результат. Все, что вы можете сделать для тестирования, — это проверить, является ли результат вычисления подписи действительной подписью, а не то, что это определенная последовательность байтов.
mbedtls_ecdsa_sign_det_ext реализует детерминированный ECDSA. Вы можете использовать тесты с известным ответом для детерминированного ECDSA. Но NIST не предоставляет для него тестовые векторы, поскольку NIST не стандартизирует детерминированную ECDSA.
Если вы немного растянете это, вы можете сказать, что возможны тесты с известным ответом, если вы полностью укажете, как алгоритм использует выходные данные генератора случайных чисел. Но с теоретической точки зрения вы сейчас тестируете детерминистический алгоритм, который принимает некоторые входные данные, которые в реальном мире должны исходить от генератора случайных чисел. И с практической точки зрения, в реальной реализации не всегда возможно заменить генератор случайных чисел для тестирования. И в любом случае FIPS 184-4 допускает некоторые вариации в том, как выходные данные генератора случайных чисел потребляются при генерации $к$ для подписи ECDSA.
