На данный момент, как система злоумышленников узнает, что она взломала шифрование, особенно если она предприняла много предыдущих попыток и на безумных скоростях? Следствие: как злоумышленник может узнать, что он успешно расшифровал данные, если расшифрованный текст будет выглядеть точно так же, как зашифрованный текст следующего уровня шифрования?
Это не так. Но обратите внимание, что для проверки того, что шифрование взломано, требуется только то, чтобы другой шифрованный поток отличался от случайного. Это может быть дешевле, чем полная атака, требующая расшифровки. Кроме того, в зависимости от конструкции могут быть осуществимы атаки типа «встреча посередине».
Предполагая, что различные агентства, страны или хакеры способны взламывать различные методы шифрования, будет ли такая система (с точки зрения высокого уровня, основанной на логике первого вопроса) повышать уровень безопасности?
Да, но сколько зависит от деталей. Атаки типа «встреча посередине» уже упоминались. Однако также может случиться так, что оба шифра имеют общую структуру, а это означает, что если один из них может быть взломан, то и другой тоже может быть взломан. В таком случае усилие удваивается, если что. Если Гровер используется для квантового криптоанализа, то мы можем предположить, что удвоение числа кубитов уведет вас довольно далеко от взлома системы двойного шифрования.
Позволит ли реверс-инжиниринг путем декомпиляции такой системы легко взломать все уровни шифрования?
Вы не можете «декомпилировать» криптосистему, этот термин не определен в криптографии. Алгоритмы считаются известными, а ключи — секретными.