Рейтинг:0

Модули Postgres и Redis время от времени выходят из строя

флаг cn

Я настроил кластер kubernetes (1.19) с помощью RKE на машине с чистой бета-версией Ubuntu (20.04). Я запускаю собственный экземпляр gitlab (установленный диаграммой helm) в этом кластере.

Время от времени (каждые 1-5 часов) некоторые модули отключаются, и я вижу больше всего перезапусков за

сертификат-менеджер-cainjector-856d4df858-l4fsz
gitlab-postgresql-0
gitlab-redis-мастер-0
nfs-provisioner-6c95ddf48-xndwh

Я не знаю, какой из них вызывает проблему, а какой - совпадение. Возможно, ошибка AOF является основной причиной, но, возможно, это просто результат другой проблемы.

описать постгрес

Предупреждение Неработоспособный 4m50s (x16 over 21h) kubelet Liveness probe failed: â
Предупреждение Неработоспособный 4m50s (x19 over 21h) kubelet Ошибка проверки готовности: â
Предупреждение Неработоспособный 4m3s (x47 более 15h) kubelet Liveness probe failed: 127.0.0.1:5432 - нет ответа â
Обычный Уничтожение 4 м3 (x74 более 15 часов) kubelet Container gitlab-postgresql не удалось проверить живучесть, будет перезапущен â
Предупреждение Неработоспособный 3m53s (x74 более 15h) kubelet Ошибка проверки готовности: 127.0.0.1:5432 - нет ответа 

логировать постгрес

metrics time="2021-10-15T11:07:53Z" level=info msg="Установлено новое подключение к базе данных \"127.0.0.1:5432\"." источник = "postgres_exporter.go: 878"
metrics time="2021-10-15T11:07:54Z" level=info msg="Установлено новое подключение к базе данных \"127.0.0.1:5432\"." источник = "postgres_exporter.go: 878"
metrics time="2021-10-15T11:07:56Z" level=info msg="Установлено новое подключение к базе данных \"127.0.0.1:5432\"." источник = "postgres_exporter.go: 878"
metrics time="2021-10-15T11:07:59Z" level=error msg="Ошибка открытия соединения с базой данных (postgresql://gitlab:[email protected]:5432/gitlabhq_production?sslmode=disable): pq: the система базы данных запускается" source="postgres_exporter.go:1474"
metrics time="2021-10-15T11:07:59Z" level=info msg="Начальный сервер: :9187" source="postgres_exporter.go:1672"

описать редис

Предупреждение Неработоспособный 5m10s (x44 более 22h) kubelet Проверка готовности не удалась: â
Предупреждение Неработоспособный 5 м (x34 более 15 часов) kubelet Liveness probe failed: â
Предупреждение. Использование пароля с опцией «-a» или «-u» в интерфейсе командной строки может быть небезопасным. ✓
 тайм-аут: отслеживаемая команда сбросила ядро ​​â
Предупреждение Неработоспособный 4m45s (x27 over 19h) kubelet Liveness probe failed: â
Предупреждение Неработоспособный 65s (x2311 более 15h) kubelet Проверка готовности не удалась: â
Предупреждение. Использование пароля с опцией «-a» или «-u» в интерфейсе командной строки может быть небезопасным. ✓
 тайм-аут: отслеживаемая команда сбросила ядро  

журнал редис

useradd: Отказано в доступе.
useradd: невозможно заблокировать /etc/passwd; Попробуйте позже.
chown: неверный пользователь: 'redis'
redis 06:20:45.18 INFO ==> ** Запуск Redis **
1:C 18 окт. 2021 06:20:45.194 # oO0OoO0OoO0Oo Redis запускается oO0OoO0OoO0Oo
1:C 18 октября 2021 г. 06:20:45.194 # Версия Redis = 6.0.9, биты = 64, коммит = 00000000, модифицированный = 0, pid = 1, только что запущенный
1:C 18 окт. 2021 06:20:45.194 # Конфигурация загружена
1:M 18 окт. 2021 06:20:45.197 * Режим работы=автономный, порт=6379.
1:M 18 окт. 2021 06:20:45.197 # Сервер инициализирован
1:M 18 окт. 2021 06:20:45.512 * Чтение преамбулы RDB из файла AOF...
1:M 18 окт. 2021 06:20:45.512 * Загрузка RDB версии 6.0.9
1:M 18 октября 2021 г. 06:20:45,512 * Возраст RDB 694288 секунд
1:M 18 окт. 2021 06:20:45.512 * Использование памяти RDB при создании 3,97 Мб
1:M 18 окт. 2021 06:20:45.512 * RDB имеет хвост AOF
1:M 18 окт. 2021 06:20:45.515 * Чтение оставшегося хвоста AOF...
1:M 18 окт. 2021 06:20:45.735 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:46.641 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:47.169 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:47.569 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:47.649 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:48.151 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:48.697 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:50.452 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:51.337 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:51.479 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:51.846 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:51.847 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:52.078 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:52.247 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:54.645 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:55.877 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:56.234 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:56.400 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:56.991 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:57.352 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:57.421 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:57.547 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:57.628 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:57.733 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:57.781 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:57.811 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:57.958 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:58.059 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:58.160 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:58.367 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:58.475 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:20:58.558 # == CRITICAL == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:20:59.649 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему клиенту загрузки AOF: «Несколько вызовов не могут быть вложены» после обработки команды «exec»
1:M 18 окт. 2021 06:21:00.050 # == КРИТИЧЕСКИЙ == Этот сервер отправляет ошибку своему AOF-загрузчику-клиенту: «MULTI-вызовы не могут быть вложены» после обработки команды «exec»
1:M 18 октября 2021 г. 06:21:00.278 * БД загружается из файла только для добавления: 15,080 секунд
1:M 18 окт. 2021 06:21:00.278 * Готов принимать подключения

журнал nfs-provisioner

I1016 09:52:48.042599 1 main.go:63] Provisioner quay.io/nfs-provisioner указан
I1016 09:52:48.042763 1 main.go:87] Настройка сервера NFS! ✓
I1016 09:53:10.846186 1 server.go:144] запуск RLIMIT_NOFILE rlimit.Cur 1048576, rlimit.Max 1048576 â
I1016 09:53:10.846225 1 server.go:155] окончание RLIMIT_NOFILE rlimit.Cur 1048576, rlimit.Max 1048576 â
I1016 09:53:10.846823 1 server.go:129] Работает сервер NFS!  

Я думаю, что ресурсов достаточно:

описать узел

Имя пространства имен Запросы ЦП Ограничения ЦП Запросы памяти Ограничения памяти Возраст
--------- ---- ------------ ---------- --------------- ------------- ---
cert-manager cert-manager-66b6d6bf59-hnlm7 0 (0%) 0 (0%) 0 (0%) 0 (0%) 5d20h
cert-manager cert-manager-cainjector-856d4df858-l4fsz 0 (0%) 0 (0%) 0 (0%) 0 (0%) 5d20h
cert-manager cert-manager-webhook-5fd7d458f7-wwq4c 0 (0%) 0 (0%) 0 (0%) 0 (0%) 5d20h
gitlab gitlab-gitaly-0 100м (1%) 0 (0%) 200Ми (0%) 0 (0%) 84м
gitlab gitlab-gitlab-exporter-775f6f9fb-2tcwg 75 млн (1%) 0 (0%) 100 млн (0%) 0 (0%) 85 млн
gitlab gitlab-gitlab-pages-79bf887975-xptqx 900 м (15%) 0 (0%) 2G (7%) 0 (0%) 80 м
gitlab gitlab-gitlab-runner-bb6cbb7f-4vbxx 0 (0%) 0 (0%) 0 (0%) 0 (0%) 7h6m
gitlab gitlab-gitlab-shell-ccd9bfbbf-8kmzl 50 м (0%) 0 (0%) 6M (0%) 0 (0%) 85 м
gitlab gitlab-gitlab-shell-ccd9bfbbf-phzdf 50 м (0%) 0 (0%) 6M (0%) 0 (0%) 85 м
gitlab gitlab-grafana-app-5758fb55f6-j5rtb 0 (0%) 0 (0%) 0 (0%) 0 (0%) 44 м
gitlab gitlab-mailroom-54c4b4769f-jj2d8 50 млн (0%) 0 (0%) 150 млн (0%) 0 (0%) 85 млн
gitlab gitlab-minio-f69c7f86d-lkz2m 100 м (1%) 0 (0%) 128Mi (0%) 0 (0%) 7h6m
gitlab gitlab-postgresql-0 250 м (4%) 0 (0%) 256Mi (1%) 0 (0%) 7ч6м
gitlab gitlab-prometheus-server-6444c7bd76-62prc 0 (0%) 0 (0%) 0 (0%) 0 (0%) 7h6m
gitlab gitlab-redis-master-0 0 (0%) 0 (0%) 0 (0%) 0 (0%) 7h6m
gitlab gitlab-redis-slave-0 0 (0%) 0 (0%) 0 (0%) 0 (0%) 7h6m
gitlab gitlab-redis-slave-1 0 (0%) 0 (0%) 0 (0%) 0 (0%) 7h5m
gitlab gitlab-registry-678dccc897-dfdvd 50 м (0%) 0 (0%) 32Mi (0%) 0 (0%) 85 м
gitlab gitlab-registry-678dccc897-lrxcw 50 м (0%) 0 (0%) 32Mi (0%) 0 (0%) 85 м
gitlab gitlab-sidekiq-all-in-1-v1-57479447cb-jr9gr 900 м (15%) 0 (0%) 2G (7%) 0 (0%) 78 м
gitlab gitlab-task-runner-899458786-2x4n2 50 млн (0%) 0 (0%) 350 млн (1%) 0 (0%) 78 млн
gitlab gitlab-webservice-default-96484c9f4-khxzm 400 млн (6%) 0 (0%) 2600 млн (10%) 0 (0%) 77 млн
gitlab gitlab-webservice-default-96484c9f4-qmblw 400 млн (6%) 0 (0%) 2600 млн (10%) 0 (0%) 78 млн
ingress-nginx nginx-ingress-controller-gs9dx 0 (0%) 0 (0%) 0 (0%) 0 (0%) 5d18h
kube-system coredns-685d6d555d-626km 100m (1%) 0 (0%) 70Mi (0%) 170Mi (0%) 5d21h
kube-system coredns-autoscaler-57fd5c9bd5-t7snq 20m (0%) 0 (0%) 10Mi (0%) 0 (0%) 5d21h
kube-system metrics-server-7bf4b68b78-xkbn7 100m (1%) 0 (0%) 200Mi (0%) 0 (0%) 5d21h
kube-system nfs-provisioner-6c95ddf48-xndwh 0 (0%) 0 (0%) 0 (0%) 0 (0%) 5d20h
kube-system weave-net-dsfzf 100 м (1%) 0 (0%) 0 (0%) 0 (0%) 5d21h

Выделенные ресурсы:
(Общие лимиты могут превышать 100 процентов, т. е. превышены лимиты.)
Ограничения запросов ресурсов
-------- -------- ------
процессор 3745 м (62%) 0 (0%)
память 10785078528 (42%) 170Mi (0%)
эфемерное хранилище 0 (0%) 0 (0%)
огромные страницы-2Mi 0 (0%) 0 (0%)
События: <нет>

Подробный журнал postgres

постгрескл 02:54:44.29 
postgresql 02:54:44.29 Добро пожаловать в контейнер Bitnami postgresql
postgresql 02:54:44.29 Подпишитесь на обновления проекта, просматривая https://github.com/bitnami/bitnami-docker-postgresql
postgresql 02:54:44.30 Отправляйте вопросы и запросы функций на https://github.com/bitnami/bitnami-docker-postgresql/issues.
постгрескл 02:54:44.33 
postgresql 02:54:44.34 INFO ==> ** Запуск установки PostgreSQL **
postgresql 02:54:44.37 INFO ==> Проверка настроек в POSTGRESQL_* env vars..
postgresql 02:54:44.38 INFO ==> Загрузка пользовательских сценариев предварительной инициализации...
postgresql 02:54:44.38 INFO ==> Загрузка пользовательских файлов из /docker-entrypoint-preinitdb.d ...
postgresql 02:54:44.39 INFO ==> Инициализация базы данных PostgreSQL...
postgresql 02:54:44.39 INFO ==> Очистка устаревшего файла /bitnami/postgresql/data/postmaster.pid
postgresql 02:54:44.45 ИНФОРМАЦИЯ ==> файл pg_hba.conf не обнаружен. Генерация...
postgresql 02:54:44.45 INFO ==> Создание конфигурации локальной аутентификации
postgresql 02:54:44.47 INFO ==> Развертывание PostgreSQL с сохраненными данными...
postgresql 02:54:44.48 INFO ==> Настройка параметров репликации
postgresql 02:54:44.54 ИНФОРМАЦИЯ ==> Настройка fsync
postgresql 02:54:44.57 INFO ==> Загрузка пользовательских скриптов...
postgresql 02:54:44.57 INFO ==> Включение удаленных подключений
postgresql 02:54:44.59 INFO ==> ** Установка PostgreSQL завершена! **
postgresql 02:54:44.64 ИНФОРМАЦИЯ ==> ** Запуск PostgreSQL **
2021-10-22 02:54:44.670 GMT [1[] LOG: 00000: инициализировано расширение pgaudit
2021-10-22 02:54:44.670 GMT [1[] РАСПОЛОЖЕНИЕ: _PG_init, pgaudit.c:2017
2021-10-22 02:54:44.670 GMT [1[] LOG: 00000: запуск PostgreSQL 12.7 на x86_64-pc-linux-gnu, скомпилированный gcc (Debian 8.3.0-6) 8.3.0, 64-разрядная версия
2021-10-22 02:54:44.670 GMT [1[] РАСПОЛОЖЕНИЕ: PostmasterMain, postmaster.c:1019
2021-10-22 02:54:44.671 GMT [1[] LOG: 00000: прослушивание IPv4-адреса «0.0.0.0», порт 5432
2021-10-22 02:54:44.671 GMT [1[] РАСПОЛОЖЕНИЕ: StreamServerPort, pqcomm.c:590
2021-10-22 02:54:44.671 GMT [1[] LOG: 00000: прослушивание IPv6-адреса "::", порт 5432
2021-10-22 02:54:44.671 GMT [1[] РАСПОЛОЖЕНИЕ: StreamServerPort, pqcomm.c:590
2021-10-22 02:54:44.674 GMT [1[] LOG: 00000: прослушивание сокета Unix "/tmp/.s.PGSQL.5432"
2021-10-22 02:54:44.674 GMT [1[] РАСПОЛОЖЕНИЕ: StreamServerPort, pqcomm.c:584
22.10.2021 02:54:44.864 GMT [92[] LOG: 00000: система базы данных была прервана; последний раз известно 22.10.2021 02:36:29 GMT
2021-10-22 02:54:44.864 GMT [92[] РАСПОЛОЖЕНИЕ: StartupXLOG, xlog.c:6305
2021-10-22 02:54:49.253 GMT [92[] LOG: 00000: система базы данных не была правильно закрыта; выполняется автоматическое восстановление
2021-10-22 02:54:49.253 по Гринвичу [92[] РАСПОЛОЖЕНИЕ: StartupXLOG, xlog.c:6808
2021-10-22 02:54:49.303 GMT [92[] LOG: 00000: повтор начинается с 0/376F9D0
2021-10-22 02:54:49.303 GMT [92[] РАСПОЛОЖЕНИЕ: StartupXLOG, xlog.c:7083
2021-10-22 02:54:49.304 GMT [92[] LOG: 00000: недопустимая длина записи на 0/376FAB8: требуется 24, получено 0
2021-10-22 02:54:49.304 GMT [92[] РАСПОЛОЖЕНИЕ: ReadRecord, xlog.c:4313
2021-10-22 02:54:49.304 GMT [92[] LOG: 00000: повтор выполнен на 0/376FA80
2021-10-22 02:54:49.304 GMT [92[] РАСПОЛОЖЕНИЕ: StartupXLOG, xlog.c:7345
2021-10-22 02:54:49.318 GMT [1[] LOG: 00000: система базы данных готова принимать подключения
2021-10-22 02:54:49.318 GMT [1[] РАСПОЛОЖЕНИЕ: reaper, postmaster.c:3001

журнал Redis

useradd: Отказано в доступе.
useradd: невозможно заблокировать /etc/passwd; Попробуйте позже.
chown: неверный пользователь: 'redis'
redis 11:49:42.69 INFO ==> ** Запуск Redis **
1:C 22 окт. 2021 11:49:42.707 # oO0OoO0OoO0Oo Redis запускается oO0OoO0OoO0Oo
1:C 22 октября 2021 г. 11:49:42.707 # Версия Redis = 6.0.9, биты = 64, фиксация = 00000000, изменено = 0, pid = 1, только что запущено
1:C 22 окт. 2021 11:49:42.707 # Конфигурация загружена
1:M 22 октября 2021 г. 11:49:42.709 * Режим работы = автономный, порт = 6379.
1:M 22 окт. 2021 11:49:42.709 # Сервер инициализирован
1:M 22 окт. 2021 г., 11:49:42.714 * Чтение преамбулы RDB из файла AOF...
1:M 22 окт. 2021 г. 11:49:42.714 * Загрузка RDB версии 6.0.9
1:M 22 октября 2021 г. 11:49:42.714 * Возраст RDB 6028 секунд
1:M 22 окт. 2021 11:49:42.714 * Использование памяти RDB при создании 3,67 Мб
1:M 22 окт. 2021 11:49:42.714 * RDB имеет хвост AOF
1:M 22 окт. 2021 г., 11:49:42.717 * Чтение оставшегося хвоста AOF...
1:M 22 окт 2021 11:49:42.869 # !!! Внимание: короткое чтение при загрузке файла AOF!!!
1:M 22 окт 2021 11:49:42.869 # !!! Усечение AOF по смещению 28641046!!!
1:M 22 окт. 2021 11:49:42.870 # AOF все равно загружается, потому что включено усечение aof-load
1:M 22 октября 2021 г. 11:49:42.870 * БД загружается из файла только для добавления: 0,161 секунды
1:M 22 окт. 2021 11:49:42.870 * Готов принимать соединения
1:M 22 окт. 2021 13:59:33.814 * Запуск автоматической перезаписи AOF при росте 134%
1:M 22 окт. 2021 г. 13:59:33.815 * Фоновое добавление только перезапись файлов, начатая pid 38407
1:M 22 окт. 2021 г., 13:59:33,843 * Дочерний элемент перезаписи AOF просит прекратить отправку различий.
38407:C 22 октября 2021 г. 13:59:33.843 * Родитель согласился прекратить отправку различий. Завершение AOF...
38407:C 22 октября 2021 г. 13:59:33.843 * Объединение 0,00 МБ различий AOF, полученных от родителя.
38407:C 22 октября 2021 г. 13:59:33.844 * SYNC добавляет только перезапись файла
38407:C 22 октября 2021 г. 13:59:33.845 * Перезапись AOF: 1 МБ памяти используется копированием при записи
1:M 22 октября 2021 г. 13:59:33,915 * Фоновая перезапись AOF завершена успешно
1:M 22 окт. 2021 г. 13:59:33,916 * Остаточный родительский diff успешно сброшен в переписанный AOF (0,00 МБ)
1:M 22 окт. 2021 г. 13:59:33.917 * Фоновая перезапись AOF успешно завершена
флаг in
Я бы предположил, что OOMkilled; что показывает `kubectl description po $your_pod_name`?
Wytrzymały Wiktor avatar
флаг it
Привет @user3142695. Любые обновления?
user3142695 avatar
флаг cn
@WytrzymaÅyWiktor К сожалению, нет. Я настроил свой сервер и свой кластер k8s с нуля. На этот раз я использовал RKE для кластера.
Mikolaj S. avatar
флаг cn
Привет @ user3142695, не могли бы вы поделиться файлом развертывания YAML? Пожалуйста, сделайте вашу [проблему воспроизводимой] (https://stackoverflow.com/help/how-to-ask).
user3142695 avatar
флаг cn
@МиколайС. Это вообще проблема. Проблема практически не воспроизводима. Несколько дней все работает нормально, а потом выдает 500 ошибок, приходится ждать то минуты, то часы. Я просто фиксирую репо, и конвейер CI работает. Поскольку я не вижу никакого триггера для этого, очень сложно найти проблему вообще.
user3142695 avatar
флаг cn
@МиколайС. Я добавил файл YAML для развертывания gitlab
Mikolaj S. avatar
флаг cn
@ user3142695 спасибо! Как насчет стручков? Каков их СТАТУС (команда kubectl get pods)?
Mikolaj S. avatar
флаг cn
Как насчет доступных ресурсов на вашем узле? На основании [этого] (https://stackoverflow.com/questions/63332007/fatal-terminating-connection-due-to-unexpected-postmaster-exit) и [этой темы] (https://gitlab.com/gitlab- org/gitlab/-/issues/227325) кажется, что ваша ошибка связана с недостатком ресурсов.Не могли бы вы запустить `kubectl описать узлы` в своем кластере и проверить, сколько у вас есть доступных ресурсов?
Mikolaj S. avatar
флаг cn
Вместо того, чтобы задавать новый вопрос, лучше просто отредактировать пост со всей новой информацией. Не могли бы вы отредактировать свой вопрос?
Mikolaj S. avatar
флаг cn
Спасибо. Не могли бы вы увеличить детализацию журнала для postgres, как в [этом примере] (https://github.com/bitnami/charts/issues/2682#issuecomment-658713180)?
Mikolaj S. avatar
флаг cn
Спасибо! Также обратите внимание на *describe postgres* при перезапуске модуля. Возможно, мы получим больше информации, а не только сообщение об ошибке «127.0.0.1:5432 — нет ответа». Пожалуйста, дайте мне знать результаты.

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.