Обновление Ubuntu 20.04.2 MySQL исказило наши данные... как исправить?

Проблема с приложением Django?

Нет. Также не уверен, почему кто-то отрицает это. Голоса против только за то, что «не показаны какие-либо исследования или усилия, неясные или бесполезные». Ничто из этого не применимо. Я провел исследование, и лучшее, что я нашел, это: https://stackoverflow.com/questions/11436594/how-to-fix-double-encoded-utf8-characters-in-an-utf-8-table Но один SQL-запрос далек от фактического решения. Обновление до Ubuntu обновило MySQL до версии 8.0 и изменило таблицы и данные в них таким образом, что они не работают.

Причина, по которой я спросил об использовании Django, заключается в том, что некоторые системы, такие как эта, имеют очень особые ожидания от механизма БД на основе конфигураций подключения. Вы сказали, что это происходит с *одной* системой, а не со всеми, поэтому предполагалось, что жесткое приложение нуждается в обновлении. UTF8 (в MySQL 5.x и ниже) устарел в пользу Utf8mb4, но для преобразования устаревших таблиц базы данных в текущий набор символов требуется перестройка таблицы. Поскольку вопрос стоит, недостаточно подробностей, чтобы предложить какие-либо конкретные предложения.

Это почти наверняка не ограничивается одним приложением. Пока мы заметили, что это единственное приложение, которое склонно использовать Unicode (в частности, смайлики). Данные сериализуются в базе данных (что мы делаем МНОГО), а десериализатор отказывается от данных, потому что MySQL возвращает символы UTF-8 с двойной кодировкой. Использование самого клиента MySQL показывает, что данные закодированы дважды (т.е. это не проблема с приложением).

Дело в том, что любой, кто запускает MySQL в Ubuntu Server LTS 18.04 и обновляется до 20.04 и имеет таблицы в своей базе данных с кодировкой «utf8», столкнется с той же проблемой. Поэтому полностью актуален и полезен и нуждается в рабочем исправлении.

Хорошо, после нескольких часов борьбы с этим у меня есть ЧАСТИЧНОЕ решение: сначала преобразовать набор символов таблицы в `utf8mb4` с помощью `ALTER TABLE tablename CONVERT TO CHARACTER SET utf8mb4`. Затем для каждого затронутого столбца используйте SQL-запрос из публикации SO, чтобы изменить данные в столбце. Сделайте все это сначала в отдельном клонированном наборе таблиц базы данных, чтобы случайно не ухудшить ситуацию. Но, как я уже сказал, это частичное, предварительное решение, которое *похоже* делает данные достоверными, но оно далеко от ответа. Мне нужно создать инструмент, чтобы определить, насколько широко распространена проблема.

Ладно, спустя НАМНОГО больше времени я обработал все наши данные. Вышеупомянутый метод работает, вроде. Я *настоятельно* рекомендую экспортировать ваши данные, используя соединение `utf8`, выполнить обновление MySQL, изменить только поля с символами Unicode, а затем восстановить поврежденные данные из экспортированных данных (т. е. ваш экспорт правильный, MySQL иногда делает это неправильно). Потому что https://stackoverflow.com/questions/11436594/how-to-fix-double-encoded-utf8-characters-in-an-utf-8-table БУДЕТ абсолютно повреждать данные где-то в базе данных! Обработка миллионов строк данных — вот откуда я знаю, что это правда.

Этот вопрос на других языках: