Вы не можете надежно проверить, имеют ли данные случайный префикс или нет. Для одного и того же ключа данные даже вообще не подведут распаковку. Итак, что вам нужно сделать, это использовать другой протокол.
Например, у вас может быть 16-байтовая полностью случайная магия перед вновь зашифрованными файлами (конечно, сгенерированная один раз), затем номер версии и другие данные, включая случайный IV, зашифрованный текст и HMAC над заголовком и данными, включая IV. Таким образом, вы можете обнаружить, что используется правильное шифрование (поскольку случайное генерирование этой магии имеет вероятность 1 из $2^{128}$), просто выполнив сравнение. Вы также защитили свой файл на целостность и подлинность с помощью HMAC (это необязательно и не обязательно для обеспечения конфиденциальности, но настоятельно рекомендуется).
Итак, это будет:
МАГИЯ (16 байт) | ВЕРСИЯ | IV (16 байт) | ШИФРОТЕКСТ | ТЕГ
Где TAG — это тег аутентификации, созданный с использованием HMAC поверх всего, что было раньше.
Конечно, было много людей, которые уже написали подобные протоколы, поэтому вы можете захотеть изучить форматы контейнеров, такие как CMS (который обычно зависит от шифрования/сертификатов с открытым ключом) или даже NaCL.