Я установил кластер Ceph на три узла, которые нужно было полностью переустановить после тестирования. Похоже, что на одном из узлов остались какие-то конфигурационные данные, которые Ceph до сих пор подхватывает.
При загрузке Ceph, похоже, ищет старые OSD, которых больше не существует. Вот содержимое нашего /var/log/ceph/ceph-volume.log
.
[2022-03-08 09:32:10,581][ceph_volume.process][INFO ] Запуск команды:
/usr/sbin/ceph-volume триггер lvm 1-f5f2a63b-540d-4277-ba18-a7db63ce5359
[2022-03-08 09:32:10,592][ceph_volume.process][INFO ] Запуск команды:
/usr/sbin/ceph-volume триггер lvm 3-eb671fc9-6db3-444e-b939-ae37ecaa1446
[2022-03-08 09:32:10,825][ceph_volume.process][INFO ] stderr -->
RuntimeError: не удалось найти osd.2 с osd_fsid
e45faa5d-f0af-45a9-8f6f-dac037d69569
[2022-03-08 09:32:10,837][ceph_volume.process][INFO ] stderr -->
RuntimeError: не удалось найти osd.0 с osd_fsid
16d1d2ad-37c1-420a-bc18-ce89ea9654f9
[2022-03-08 09:32:10,844][systemd][WARNING] команда вернула ненулевой выход
статус: 1
[2022-03-08 09:32:10,844][systemd][ПРЕДУПРЕЖДЕНИЕ] не удалось активировать экранное меню, повторная попытка
осталось: 25
[2022-03-08 09:32:10,853][ceph_volume.process][INFO ] stderr -->
RuntimeError: не удалось найти osd.1 с osd_fsid
f5f2a63b-540d-4277-ba18-a7db63ce5359
[2022-03-08 09:32:10,853][ceph_volume.process][INFO ] stderr -->
RuntimeError: не удалось найти osd.0 с osd_fsid
59992b5f-806b-4bed-9951-bca0ef4e6f0a
[2022-03-08 09:32:10,855][systemd][WARNING] команда вернула ненулевой выход
статус: 1
[2022-03-08 09:32:10,855][systemd][ПРЕДУПРЕЖДЕНИЕ] не удалось активировать экранное меню, повторная попытка
осталось: 25
[2022-03-08 09:32:10,865][ceph_volume.process][INFO ] stderr -->
RuntimeError: не удалось найти osd.3 с osd_fsid
eb671fc9-6db3-444e-b939-ae37ecaa1446
Для сравнения, объемы, которые мы установили (найдены список lvm ceph-volume
) находятся -
OSD FSID 3038f5ae-c579-410b-bb6d-b3590c2834ff
OSD fsid b693f0d5-68de-462e-a1a8-fbdc137f4da4
OSD fsid 4639ef09-a958-40f9-86ff-608ac651ca58
OSD fsid c4531f50-b192-494d-8e47-533fe780bfa3
Любые идеи, откуда могут поступать эти данные и как я могу удалить эти «осиротевшие» тома?