Как я могу понять математику, лежащую в основе криптографии, особенно той, которая используется в блокчейнах/распределенных реестрах?

Честно говоря, количество и сложность криптографии, используемой в DLT, во многом зависит от того, какой проект вы изучаете. Прежде всего, обратите внимание, что блокчейн/DLT сегодня также стал маркетинговым термином, поэтому многие проекты — это не что иное, как устаревшие базы данных с крутым названием. Публичные, неразрешенные криптовалюты — это другое дело, и имхо — это то, что вам нужно изучить, если вы действительно заинтересованы в этой совершенно новой области. (Но сначала убедитесь, что вам действительно нужен DLT. Вы получаете много функций и теряете многие другие, поэтому сначала проверьте, что вам действительно не нужна только БД.) Если вы не передумали, давайте продолжим с кучей примеров и ссылок :)

• В Биткойне вы найдете стандартные подписи открытых и закрытых ключей по эллиптическим кривым и хэшированию (например, ядро ​​PoW), которые в настоящее время можно считать стандартной криптографией (не более чем то, что вы можете найти в современном сертификате X.509 домен веб-сервера). Гораздо более сложными для новичка являются имхо стимулы и концепции, связанные с теорией игр. Книга, которую я любил, когда начинал свое путешествие в этом мире, называется «Освоение биткойнов, 2-е изд.». Андреаса Антонопулоса, в котором представлены многие концепции (в том числе и несколько криптографических), которые вам необходимо освоить, чтобы покопаться в этом мире.Но будьте осторожны, чтобы не считать книгу Антонопулоса строгой по математике: как указывает @kelalaka в комментариях, существуют вводящие в заблуждение проблемы с определением скалярного умножения EC на странице 68 первого издания и 63 второго.
• Обычно монеты, ориентированные на конфиденциальность, используют более сложную криптографию. Например, в Monero вы найдете обмены Диффи-Хеллмана, кольцевые подписи и другие интересные идеи (например, обязательства Педерсена и пуленепробиваемые). я предлагаю вам проверить https://www.getmonero.org/library/ : «Zero to Monero 2nd Edition», полная ссылка на сегодняшнюю Monero («сегодня», потому что хард-форки, также известные как несовместимые с обратной совместимостью изменения, распространены в Monero) с большим математическим следом, чем «Освоение биткойнов». Я думаю, что хорошими сопутствующими документами для него являются шпаргалки, которые вы можете найти на той же веб-странице (отказ от ответственности: они мои ;-))
• Будущее Ring Signatures, похоже, за Triptych и Seraphis на стороне Monero и Lelantus Spark на стороне Firo («новая» криптовалюта, ранее Zcoin, но с совершенно другими протоколами/математикой).
• Другие очень крутые криптографические вещи, используемые в криптовалютах, — это доказательства с нулевым разглашением; будьте осторожны, потому что у них так много ароматов. Bulletproof, используемый в Monero, является одним из них, но вы наверняка найдете ZK-SNARK для Zcash, ZK-STARK и ZK-Rollups для будущего Ethereum... Я избегаю упоминаний на уровне приложений, потому что они представляют собой мир в мире, и imho, чтобы действительно понять их, вы должны начать с основ, например, «Основы криптографии, том 1» Одеда Голдрайха, а затем углубиться в модели/эвристики неинтерактивности.... действительно беспорядок (это просто упрощенная идея : https://github.com/AdamISZ/from0k2bp/blob/master/from0k2bp.pdf - кстати, он содержит очень понятное введение в Обязательства)