у нас есть 3 брокера Kafka на Linux RHEL 7.6 (3 Linux-машины)
версия кафки 2.7.Х
идентификаторы брокеров - 1010,1011,1012
из описанного кафки мы можем увидеть следующее
Тема: __consumer_offsets Раздел: 0 Лидер: нет Реплики: 1011,1010,1012 Isr: 1010
Тема: __consumer_offsets Раздел: 1 Лидер: 1012 Реплики: 1012 1011 1010 ISR: 1012 1011
Тема: __consumer_offsets Раздел: 2 Лидер: 1011 Реплики: 1010,1012,1011 ISR: 1011,1012
Тема: __consumer_offsets Раздел: 3 Лидер: нет Реплики: 1011,1012,1010 Isr: 1010
Тема: __consumer_offsets Раздел: 4 Лидер: 1011 Реплики: 1012,1010,1011 ISR: 1011
Тема: __consumer_offsets Раздел: 5 Лидер: нет Реплики: 1010,1011,1012 Isr: 1010
из Zookeeper cli мы видим этого брокера идентификатор 1010 не определен
[zk: localhost: 2181 (ПОДКЛЮЧЕНО) 10] ls /brokers/id
[1011, 1012]
а из лога - состояние-change.log
мы можем видеть следующее
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-6, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-9, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпохи 323 для раздела __consumer_offsets-8, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпохи 323 для раздела __consumer_offsets-11, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-10, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-46, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпохи 323 для раздела __consumer_offsets-45, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-48, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-47, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
[2021-12-16 14:15:36,170] ПРЕДУПРЕЖДЕНИЕ [Идентификатор брокера = 1010] Игнорирование запроса LeaderAndIsr от контроллера 1010 с идентификатором корреляции 485 эпоха 323 для раздела __consumer_offsets-49, поскольку локальная реплика для раздела находится в автономном каталоге журнала ( state.change.logger)
с помощью ls -ltr мы можем видеть, что контроллер.log и состояние-change.log не обновляются с 16 декабря
-rwxr-xr-x 1 root kafka 343477146 16 декабря 14:15 controller.log
-rwxr-xr-x 1 root kafka 207911766 16 декабря 14:15 state-change.log
-rw-r--r-- 1 root kafka 68759461 16 декабря 14:15 kafkaServer-gc.log.6.current
-rwxr-xr-x 1 root kafka 6570543 17 декабря 09:42 log-cleaner.log
-rw-r--r-- 1 root kafka 524288242 20 декабря 00:39 server.log.10
-rw-r--r-- 1 root kafka 524289332 20 декабря 01:37 server.log.9
-rw-r--r-- 1 root kafka 524288452 20 декабря 02:35 server.log.8
-rw-r--r-- 1 root kafka 524288625 20 декабря 03:33 server.log.7
-rw-r--r-- 1 root kafka 524288395 20 декабря 04:30 server.log.6
-rw-r--r-- 1 root kafka 524288237 20 декабря 05:27 server.log.5
-rw-r--r-- 1 root kafka 524289136 20 декабря 06:25 server.log.4
-rw-r--r-- 1 root kafka 524288142 20 декабря 07:25 server.log.3
-rw-r--r-- 1 root kafka 524288187 20 декабря 08:21 server.log.2
-rw-r--r-- 1 root kafka 524288094 20 декабря 10:52 server.log.1
-rw-r--r-- 1 root kafka 323361 20 декабря 19:50 kafkaServer-gc.log.0.current
-rw-r--r-- 1 root kafka 323132219 20 декабря 19:50 server.log
-rwxr-xr-x 1 root kafka 15669106 20 декабря 19:50 kafkaServer.out
то, что мы делали до сих пор, это то, что:
мы перезапускаем все 3 сервера zookeeper
мы перезапускаем всех брокеров kafka
но все же кафка брокер 1010 появляется как лидер , а не в данных zookeeper
Дополнительная информация
[zk: localhost: 2181 (ПОДКЛЮЧЕНО) 11] получить /контроллер
{"версия": 1, "id брокера": 1011, "отметка времени": "1640003679634"}
cZxid = 0x4900000b0c
ctime = пн, 20 декабря, 12:34:39 UTC 2021
mZxid = 0x4900000b0c
mtime = пн, 20 декабря, 12:34:39 UTC 2021
pZxid = 0x4900000b0c
версия = 0
версия данных = 0
аклверсион = 0
эфемерныйВладелец = 0x27dd7cf43350080
длина данных = 57
количество детей = 0
от кафка01
больше мета.свойств
#
#Вт, 16 ноября 07:45:36 UTC 2021
cluster.id=D3KpekCETmaNveBJzE6PZg
версия=0
брокер.id=1010
соответствующие идеи
в диске тем у нас есть следующие файлы (дополнительно к разделам тем)
-rw-r--r-- 1 root kafka 91 ноя 16 07:45 meta.properties
-rw-r--r-- 1 root kafka 161 15 дек 16:04 очиститель-смещение-контрольная точка
-rw-r--r-- 1 root kafka 13010 15 декабря 16:20 репликация-смещение-контрольная точка
-rw-r--r-- 1 root kafka 17 декабря 1928 09:42 точка восстановления-смещение-контрольная точка
-rw-r--r-- 1 root kafka 80 17 декабря 09:42 log-start-offset-checkpoint
есть идеи, может ли удаление одного или нескольких из вышеперечисленных файлов помочь в нашей проблеме?
