У нас есть сервер RabbitMQ, который некоторое время работает корректно, пока не начнет устанавливать и сбрасывать сигналы тревоги памяти туда и обратно:
380 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::17:46:33 ===
381 vm_memory_high_watermark установлен. Используемая память: 3437756080 разрешено: 3338231808
382
383 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::17:46:33 ===
На узле 'rabbit@rab-server' установлен аварийный сигнал ограничения ресурсов памяти 384.
385
386 ******************************************************* *********
387 *** Издатели будут заблокированы до тех пор, пока этот сигнал тревоги не будет снят ***
388 ******************************************************* *********
389
390 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::17:46:36 ===
391 vm_memory_high_watermark очищен. Используемая память: 1541409584 разрешено: 3338231808
392
393 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::17:46:36 ===
Аварийный сигнал ограничения ресурсов памяти 394 очищен на узле 'rabbit@rab-server'
395
396 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::17:46:36 ===
397 аварийный сигнал ограничения ресурсов памяти сброшен в кластере
398
399 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::17:46:42 ===
400 vm_memory_high_watermark установлен. Используемая память: 4035019336 разрешено: 3338231808
401
402 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::17:46:42 ===
403 установлен аварийный сигнал ограничения ресурсов памяти на узле «rabbit@rab-server».
404
405 ******************************************************* *********
406 *** Издатели будут заблокированы до тех пор, пока этот сигнал тревоги не будет снят ***
407 ******************************************************* *********
408
409 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::17:46:45 ===
410 vm_memory_high_watermark очищен. Используемая память: 1786022776 разрешено: 3338231808
Это происходит несколько раз, и переходы всегда занимают около 2,5 ГБ или памяти.
Пока он не начнет делать то же самое для дискового пространства
456 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::18:15:35 ===
457 Недостаточно свободного места на диске. Свободных байт: 44498944. Лимит: 50000000
458
459 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:15:35 ===
На узле 'rabbit@rab-server' установлен аварийный сигнал ограничения ресурсов диска 460.
461
462 ******************************************************* **********
463 *** Издатели будут заблокированы до тех пор, пока этот сигнал тревоги не будет снят ***
464 ******************************************************* **********
465
466 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::18:16:05 ===
467 Свободного места на диске достаточно. Свободных байт: 8649433088. Лимит: 50000000
468
469 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:16:05 ===
Аварийный сигнал ограничения ресурсов диска 470 очищен на узле «rabbit@rab-server»
471
472 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:16:05 ===
473 аварийный сигнал об ограничении ресурсов диска снят во всем кластере.
474
475 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::18:18:17 ===
476 Недостаточно свободного места на диске. Свободных байт: 46092288. Лимит: 50000000
477
478 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:18:17 ===
479 установлен аварийный сигнал ограничения дисковых ресурсов на узле «rabbit@rab-server».
480
481 ******************************************************* **********
482 *** Издатели будут заблокированы до тех пор, пока этот сигнал тревоги не будет снят ***
483 ******************************************************* **********
484
485 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::18:19:07 ===
486 Свободного места на диске достаточно. Свободных байт: 2646163456. Лимит: 50000000
487
488 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:19:07 ===
Аварийный сигнал ограничения ресурсов диска 489 очищен на узле «rabbit@rab-server»
490
491 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:19:07 ===
492 аварийный сигнал об ограничении ресурсов диска снят во всем кластере.
493
494 =ИНФОРМАЦИОННЫЙ ОТЧЕТ==== 25 октября 2021::18:40:51 ===
495 Недостаточно свободного места на диске. Свободных байт: 49758208. Лимит: 50000000
496
497 =ПРЕДУПРЕЖДЕНИЕ==== 25 октября 2021::18:40:51 ===
На узле 'rabbit@rab-server' установлена сигнализация ограничения ресурсов диска 498.
499
500 ******************************************************* *********
501 *** Издатели будут заблокированы до тех пор, пока не будет снят этот сигнал тревоги ***
502 ******************************************************* *********
И скачок дискового пространства идет от гигабайт свободного дискового пространства до менее чем 50 мегабайт.
А потом он падает. При попытке перезапустить базу данных в этом состоянии RabbitMQ попытается запуститься и выгрузит всю свою базу данных в файл журнала, в результате чего файл журнала увеличится с примерно 600 строк до более чем 19000000 (да, девятнадцати миллионов).
Мне трудно понять, что вызывает такое поведение, потому что, когда я это делаю
дф-ч
Во время поведения ни один из дисков не заполнен.
Я не эксперт по RabbitMQ, поэтому мои вопросы:
1 - Записывает ли RabbitMQ на диск, если у него слишком много оперативной памяти?
2 - Куда пишет RabbitMQ? Возможно, 50 МБ относятся к доступному для записи пространству?
3 - Если вы когда-либо сталкивались с подобной проблемой, что вы сделали, чтобы ее исправить?
На данный момент я добавил пространство подкачки на машину, как упоминается, чтобы включить его в документации по памяти RabbitMQ: https://www.rabbitmq.com/memory.html
На данный момент мне пришлось вернуть сервер в нужное русло, но я не могу подтвердить, что это решит проблему, пока она не появится снова.
Спасибо за уделенное время.
