Данный $р,к$ формы 4к+3$, мы можем определить комплексные числа по модулю $р$ или мод $q$. Форма гарантирует, что $-1$ не имеет там квадратного корня, поэтому мы работаем с квадратичным расширением $GF(p)$ и $GF(q)$, т.е.
$$GF(p^2) \simeq GF(p)[i]/(i^2+1)$$
и
$$GF(q^2) \simeq GF(q)[i]/(i^2+1).$$
Комбинируя их, мы можем определить RSA поверх $(\mathbb{Z}/n\mathbb{Z})[i]/(i^2+1)$, $n=pq$, то есть комплексные числа, действительные и мнимые части которых определены по модулю $n$. Арифметика (умножение, сложение и т. д.) производится аналогично комплексным числам. Например.
$$(a+bi)(c+di)\equiv (ac-bd) + (ad+bc)i \pmod{n}$$
(значения хранятся в виде пар $(а,б)$ и $(в,г)$).
Порядок мультипликативной группы $\mathrm{lcm}(p^2-1, q^2-1)$, поэтому нам нужно
$$e\cdot d \equiv 1 \pmod{\mathrm{lcm}(p^2-1, q^2-1)}.$$
Конечно, факторинг $n$ ломает схему, так что нет повышения безопасности.
Другая возможная проблема заключается в том, что комплексные числа имеют (квадратную) норму, которая является мультипликативной и ее легко вычислить, не зная $р$ и $q$:
$$N(a+bi) \эквив a^2+b^2 \pmod{n},$$
$$N(c) \equiv N(m^e) \equiv N(m)^e \pmod{n}.$$
Поскольку норма живет в $GF(p)\раз GF(q)$, сводим к базовому моду RSA $n$. Может ли злоумышленник каким-то образом сломать мод RSA $n$, тогда атакующий восстанавливает норму сообщения.
Резюме:
Можно определить RSA по сравнению с комплексными числами по модулю простых чисел, однако преимущества этого не ясны, поскольку безопасность не повышается по сравнению с базовым RSA, а эффективность немного падает.
Других значимых атак на эту схему я не вижу, был бы рад узнать, если они есть.
Обновление:
Вместо $\sqrt{-1}$ мы можем использовать любой другой $\sqrt{d}$ что не лежит в базовом поле, т.е. работать с $\mathbb{Z}[\sqrt{d}]/n\mathbb{Z}$. Это было сделано в варианте сигнатуры OSS. (OSS был сломан, но только потому, что он сам по себе слаб, RSA, определенный над квадратичными целыми числами, должен быть в порядке.)