Простой вопрос, но пока очень сложно ответить... =-[
Я пытаюсь развернуть OpenShift (OKD) 4.5 или 4.7, как указано здесь. Руководство: Установка кластера OKD 4.5. Посмотрите на "Запуск узлов плоскости управления" раздел.
Я пытаюсь создать кластер с помощью UPI (инфраструктура, предоставляемая пользователем)/Bare Metal (KVM).
ПРОБЛЕМА:
Главный узел не может завершить установку после перезагрузки. Постоянно показывает следующую ошибку...
[1304.254380] зажигание[485]: GET https://api-int.mbr.okd.local:22623/config/master: попытка №92
[1314.264629] зажигание [485]: ошибка GET: получить "https://api-int.mbr.okd.local:22623/config/master": net/http: тайм-аут ожидания заголовков ответа
Для версии 4.5 мы используем «Fedora CoreOS 32.20200715.3.0».
Главный узел не может завершить установку после перезагрузки.Постоянно показывает следующую ошибку...
[543.933709] зажигание[505]: GET https://api-int.mbr.okd.local:22623/config/master: попытка №112
[ 543.939340] зажигание [505]: ошибка GET: получить "https://api-int.mbr.okd.loca1:22623/config/master": EOF
Для версии 4.7 мы используем «Fedora CoreOS 34.20210518.3.0».
Я ждал часы и часы, а главные узлы все еще в той же ситуации. Что я могу сделать, чтобы решить эту проблему?
Спасибо! = Д
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ:
Посмотрите, поможет ли это...
Этот вывод происходит в okd_master_3 (10.3.0.7)....
[1304.254380] зажигание[485]: GET https://api-int.mbr.okd.local:22623/config/master: попытка №92
[1314.264629] зажигание [485]: ошибка GET: получить "https://api-int.mbr.okd.local:22623/config/master": net/http: тайм-аут ожидания заголовков ответа
Подключение okd_master_2 (10.3.0.6) из okd_services (10.3.0.14)...
ПРИМЕЧАНИЕ: okd_master_2 (10.3.0.6) смог загрузиться (достиг экрана входа в систему).
[root@okd_services ~]# ssh [email protected]
Подлинность хоста «10.3.0.6 (10.3.0.6)» не может быть установлена.
Отпечаток ключа ECDSA: SHA256:1xdq65g0ljnZYR6uXHaXW6EsxO3u6X268s4Z9Kfq0ng.
Вы уверены, что хотите продолжить подключение (да/нет/[отпечаток пальца])? да
Предупреждение: «10.3.0.6» (ECDSA) навсегда добавлен в список известных хостов.
Fedora CoreOS 32.20200629.3.0
Трекер: https://github.com/coreos/fedora-coreos-tracker
Обсудить: https://discussion.fedoraproject.org/c/server/coreos/
Проверка связи okd_bootstrap (10.3.0.4) из okd_master_2 (10.3.0.6)...
[core@localhost ~]$ пинг 10.3.0.4
PING 10.3.0.4 (10.3.0.4) 56 (84) байт данных.
64 байта из 10.3.0.4: icmp_seq=1 ttl=64 время=0,973 мс
64 байта из 10.3.0.4: icmp_seq=2 ttl=64 время=0,801 мс
64 байта из 10.3.0.4: icmp_seq=3 ttl=64 время=0,373 мс
64 байта из 10.3.0.4: icmp_seq=4 ttl=64 время=0,647 мс
^ С
--- 10.3.0.4 статистика пинга ---
4 пакета передано, 4 получено, 0% потери пакетов, время 3032 мс
rtt min/avg/max/mdev = 0,373/0,698/0,973/0,220 мс
Вызов проблемного URL из okd_master_2 (10.3.0.6)...
[core@localhost ~]$ curl -kv https://api-int.mbr.okd.local:22623/config/master
* Попытка 10.3.0.14:22623...
* Подключен к api-int.mbr.okd.local (10.3.0.14), порт 22623 (#0)
* ALPN, предлагая h2
* ALPN, предлагающий http/1.1
* успешно установить места проверки сертификата:
* CA-файл: /etc/pki/tls/certs/ca-bundle.crt
CApath: нет
* TLSv1.3 (OUT), рукопожатие TLS, приветствие клиента (1):
* TLSv1.3 (IN), рукопожатие TLS, приветствие сервера (2):
* TLSv1.3 (IN), рукопожатие TLS, зашифрованные расширения (8):
* TLSv1.3 (IN), рукопожатие TLS, сертификат (11):
* TLSv1.3 (IN), рукопожатие TLS, проверка CERT (15):
* TLSv1.3 (IN), рукопожатие TLS, Готово (20):
* TLSv1.3 (OUT), изменение шифрования TLS, изменение спецификации шифрования (1):
* TLSv1.3 (OUT), рукопожатие TLS, Готово (20):
* SSL-соединение с использованием TLSv1.3/TLS_AES_128_GCM_SHA256
* ALPN, сервер принят для использования h2
*Сертификат сервера:
* Тема: CN=api-int.mbr.okd.local
* дата начала: 16 июня 23:52:22 2021 по Гринвичу
* срок действия: 14 июня 23:52:23 20:31 по Гринвичу
* эмитент: OU=openshift; CN = root-ca
* Результат проверки SSL-сертификата: невозможно получить сертификат локального эмитента (20), все равно продолжается.
* Используя HTTP2, сервер поддерживает многократное использование
* Состояние соединения изменено (HTTP/2 подтверждено)
* Копирование данных HTTP/2 из буфера потока в буфер подключения после обновления: len=0
* Использование идентификатора потока: 1 (простой дескриптор 0x561ed249aa40)
> ПОЛУЧИТЬ /config/мастер HTTP/2
> Хост: api-int.mbr.okd.local:22623
> пользовательский агент: curl/7.69.1
> принять: */*
>
* TLSv1.3 (IN), рукопожатие TLS, билет на выпуск новостей (4):
* Состояние соединения изменено (MAX_CONCURRENT_STREAMS == 250)!
< HTTP/2 500
<длина содержимого: 0
<дата: Чт, 17 июня 2021 г., 14:55:43 по Гринвичу
<
* Соединение №0 с хостом api-int.mbr.okd.local осталось нетронутым
ИНФРАСТРУКТУРА:
Виртуальные машины...
ИМЯ РОЛЬ ОС IP MAC
okd_boostrap начальная загрузка Fedora CoreOS 10.3.0.4 52:54:00:07:80:62
okd_master_1 master Fedora CoreOS 10.3.0.5 52:54:00:7d:97:70
okd_master_2 master Fedora CoreOS 10.3.0.6 52:54:00:6e:52:85
okd_master_3 master Fedora CoreOS 10.3.0.7 52:54:00:a3:65:d9
okd_worker_1 рабочий Fedora CoreOS 10.3.0.8 52:54:00:e3:7c:fb
okd_worker_2 рабочий Fedora CoreOS 10.3.0.9 52:54:00:20:ec:4f
okd_services DNS/LB/веб/NFS CentOS 8 10.3.0.14 52:54:00:3a:fd:a2
10.2.0.18 52:54:00:92:се:78
okd_pfsense брандмауэр/маршрутизатор/DHCP FreeBSD 10.3.0.2 52:54:00:d8:27:82
10.2.0.19 52:54:00:ac:82:7d
. OKD_LAN: "10.3.0";
. EXT_LAN: "10.2.0".
Некоторые аббревиатуры...
_ DNS — система доменных имен;
_ LB - Балансировка нагрузки;
_ Web - веб-сервер;
_ NFS — общий доступ к файлам по сети.
Схема сети...
...â.[N]WAN/EXT_LAN([R]dhcp).â... (10.2.0.0/24)
✓ ✓ ✓
[I]WAN/EXT_LAN [I]WAN/EXT_LAN
[V]OKD_PFSENSE([R]dhcp) [V]OKD_SERVICES
[I]OKD_LAN [I]OKD_LAN
❤ ❤ ❓
......... .[N]OKD_LAN. .......... (10.3.0.0/24)
✓
...................................
✓ ✓ ✓ ✓
[V]OKD_BOOSTRAP [V]OKD_MASTER_1 [V]OKD_WORKER_1
[V]OKD_MASTER_2 [V]OKD_WORKER_2
[V]ОКД_МАСТЕР_3
_[N] - Сеть;
_ [R] - Сетевой ресурс;
_[I] - Сетевой интерфейс;
_ [V] - Виртуальная машина.
ФАЙЛЫ КОНФИГУРАЦИИ:
СВЯЗАТЬ 9 (DNS):
. дб.10.3.0
$TTL 604800
@ В SOA okd-services.okd.local. admin.okd.local. (
6; Серийный
604800 ; Обновить
86400 ; Повторить попытку
2419200 ; Срок действия
604800 ; Отрицательный TTL кэша
)
; Серверы имен - записи "NS".
В НС okd-services.okd.local.
; Серверы имен - записи "PTR".
14 В PTR okd-services.okd.local.
; Кластер контейнерной платформы OpenShift — записи «PTR».
4 В PTR okd-boostrap.mbr.okd.local.
5 В PTR okd-master-1.mbr.okd.local.
6 В PTR okd-master-2.mbr.okd.local.
7 В PTR okd-master-3.mbr.okd.local.
8 В PTR okd-worker-1.mbr.okd.local.
9 В PTR okd-worker-2.mbr.okd.local.
14 В PTR api.mbr.okd.local.
14 В PTR api-int.mbr.okd.local.
. db.okd.local
$TTL 604800
@ В SOA okd-services.okd.local. admin.okd.local. (
1; Серийный
604800 ; Обновить
86400 ; Повторить попытку
2419200 ; Срок действия
604800 ; Отрицательный TTL кэша
)
; Серверы имен - записи "NS".
В НС окд-сервисы
; Серверы имен - записи "А".
okd-services.okd.local. В А 10.3.0.14
; Кластер контейнерной платформы OpenShift — записи «A».
okd-boostrap.mbr.okd.local. В А 10.3.0.4
okd-master-1.mbr.okd.local. В А 10.3.0.5
okd-master-2.mbr.okd.local. В А 10.3.0.6
okd-master-3.mbr.okd.local. В А 10.3.0.7
okd-worker-1.mbr.okd.local. В А 10.3.0.8
okd-worker-2.mbr.okd.local. В А 10.3.0.9
; Внутренние IP-адреса кластера Openshift — записи «A».
api.mbr.okd.local. В А 10.3.0.14
api-int.mbr.okd.local. В А 10.3.0.14
*.apps.mbr.okd.local. В А 10.3.0.14
etcd-0.mbr.okd.local. В А 10.3.0.5
etcd-1.mbr.okd.local. В А 10.3.0.6
etcd-2.mbr.okd.local. В А 10.3.0.7
минусы-okd.apps.mbr.okd.local. В А 10.3.0.14
oauth-okd.apps.mbr.okd.local. В А 10.3.0.14
; Внутренние IP-адреса кластера OpenShift — записи «SRV».
_etcd-сервер-ssl._tcp.mbr.okd.local. 86400 IN SRV 0 10 2380 etcd-0.mbr
_etcd-сервер-ssl._tcp.mbr.okd.local. 86400 IN SRV 0 10 2380 etcd-1.mbr
_etcd-сервер-ssl._tcp.mbr.okd.local. 86400 IN SRV 0 10 2380 etcd-2.mbr
. named.conf.local
зона "okd.local" {
тип мастер;
файл "/etc/named/zones/db.okd.local"; // Путь к файлу зоны.
};
зона "0.3.10.in-addr.arpa" {
тип мастер;
файл "/etc/named/zones/db.10.3.0"; // Подсеть 10.3.0.0/24.
};
. named.conf
//
// именованный.conf
//
// Предоставляется пакетом привязки Red Hat для настройки DNS-сервера ISC BIND named(8)
// только как кеширующий сервер имен (только как локальный преобразователь DNS).
//
// См. /usr/share/doc/bind*/sample/ примеры именованных файлов конфигурации.
//
// См. Справочное руководство администратора BIND (ARM) для получения подробной информации о конфигурации
// находится в /usr/share/doc/bind-{версия}/Bv9ARM.html.
параметры {
порт прослушивания 53 { 127.0.0.1; 10.3.0.14; };
директория "/var/named";
дамп-файл "/var/named/data/cache_dump.db";
файл статистики "/var/named/data/named_stats.txt";
memstatistics-file "/var/named/data/named_mem_stats.txt";
рекурсивный-файл "/var/named/data/named.recursing";
файл-secroots "/var/named/data/named.secroots";
разрешить запрос { локальный; 10.3.0.0/24; };
// - Если вы создаете АВТОРИТЕТНЫЙ DNS-сервер, НЕ включайте рекурсию.
// - Если вы создаете РЕКУРСИВНЫЙ (кэширующий) DNS-сервер, вам необходимо включить
// рекурсия.
// - Если ваш рекурсивный DNS-сервер имеет общедоступный IP-адрес, вы ДОЛЖНЫ разрешить доступ
// управление, чтобы ограничить запросы вашими законными пользователями. Невыполнение этого требования приведет к
// ваш сервер станет частью крупномасштабных атак с усилением DNS. Реализация
// BCP38 в вашей сети значительно уменьшит такую поверхность атаки.
рекурсия да;
экспедиторы {
8.8.8.8;
8.8.4.4;
};
dnssec-включить да;
dnssec-валидация да;
// Путь к ключу ISC DLV.
bindkeys-file "/etc/named.root.key";
каталог управляемых ключей "/var/named/dynamic";
pid-файл "/run/named/named.pid";
ключевой файл сеанса "/run/named/session.key";
};
Ведение журнала {
канал default_debug {
файл "data/named.run";
динамика тяжести;
};
};
зона "." В {
тип подсказки;
файл "named.ca";
};
включить "/etc/named.rfc1912.zones";
включить "/etc/named.root.key";
включить "/etc/named/named.conf.local";
HAProxy (балансировщик нагрузки):
. haproxy.cfg
#--------------------------------------------- --------------------
# Глобальные настройки.
#--------------------------------------------- --------------------
Глобальный
максконн 20000
журнал /dev/log local0 информация
chroot /var/lib/haproxy
pid-файл /var/run/haproxy.pid
пользовательский прокси
группа haproxy
демон
# Включить статистику unix socket.
сокет статистики /var/lib/haproxy/stats
#--------------------------------------------- --------------------
# Общие значения по умолчанию, которые будут использовать все разделы «listen» и «backend», если они не назначены
# в своем блоке.
#--------------------------------------------- --------------------
значения по умолчанию
режим http
журнал глобальный
опция httplog
опция
опция http-server-close
опция повторной отправки
повторяет 3
таймаут http-запроса 10s
очередь ожидания 1м
тайм-аут соединения 10 сек.
таймаут клиента 300s
таймаут сервера 300с
тайм-аут http-keep-alive 10s
проверка тайм-аута 10s
максконн 20000
слушать статистику
привязать :9000
режим http
опция forwardfor кроме 127.0.0.0/8
включить статистику
статистика ури /
интерфейс okd_k8s_api_fe
привязать :6443
default_backend okd_k8s_api_be
режим TCP
опция tcplog
серверная часть okd_k8s_api_be
источник баланса
режим TCP
сервер okd-boostrap 10.3.0.4:6443 проверить
сервер okd-master-1 10.3.0.5:6443 проверить
сервер okd-master-2 10.3.0.6:6443 проверить
сервер okd-master-3 10.3.0.7:6443 проверить
интерфейс okd_machine_config_server_fe
привязать :22623
default_backend okd_machine_config_server_be
режим TCP
опция tcplog
серверная часть okd_machine_config_server_be
источник баланса
режим TCP
сервер okd-boostrap 10.3.0.4:22623 проверить
сервер okd-master-1 10.3.0.5:22623 проверить
сервер okd-master-2 10.3.0.6:22623 проверить
сервер okd-master-3 10.3.0.7:22623 проверить
интерфейс okd_http_ingress_traffic_fe
связать :80
default_backend okd_http_ingress_traffic_be
режим TCP
опция tcplog
серверная часть okd_http_ingress_traffic_be
источник баланса
режим TCP
сервер okd-worker-1 10.3.0.8:80 проверить
сервер okd-worker-2 10.3.0.9:80 проверка
интерфейс okd_https_ingress_traffic_fe
привязать *:443
default_backend okd_https_ingress_traffic_be
режим TCP
опция tcplog
серверная часть okd_https_ingress_traffic_be
источник баланса
режим TCP
сервер okd-worker-1 10.3.0.8:443 проверить
сервер okd-worker-2 10.3.0.9:443 проверить
Файлы OpenShift (OKD) "*.yaml":
. htpasswd_provider.yaml
apiVersion: config.openshift.io/v1
тип: OAuth
метаданные:
имя: кластер
спецификация:
провайдеры идентификации:
- имя: htpasswd_provider
метод отображения: претензия
тип: HTTPPasswd
хтпароль:
данные файла:
имя: htpass-секрет
. установка-config.yaml
апиВерсия: v1
базовый домен: okd.local
метаданные:
имя: мбр
вычислить:
- гиперпоточность: включена
имя: рабочий
реплик: 0
плоскость управления:
гиперпоточность: включена
имя: мастер
реплики: 3
сети:
кластерсеть:
- Сидр: 10.128.0.0/14
префикс хоста: 23
тип сети: OpenShiftSDN
сервисная сеть:
- 172.30.0.0/16
Платформа:
никто: {}
фипс: ложь
pullSecret: '{"auths":{"fake":{"auth": "bar"}}}'
sshKey: 'ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAA<SKIPPED>QbAKPwwhdCkTpd8= root@okd_services.my_domain.com.br'
. реестр_pv.yaml
апиВерсия: v1
вид: персистентволуме
метаданные:
имя: реестр-pv
спецификация:
емкость:
хранилище: 45Gi
режимы доступа:
- ЧитатьЗаписатьМного
персистентволумереклаймполици: сохранить
НФС:
путь: /var/nfsshare/реестр
сервер: 10.3.0.14
ОБНОВИТЬ:
. netstat -натуп вывод...
[root@okd_services ~]# netstat -natup
Активные интернет-соединения (серверы и установленные)
Proto Recv-Q Send-Q Локальный адрес Внешний адрес Состояние PID/имя программы
TCP 0 0 0.0.0.0:22 0.0.0.0:* ПРОСЛУШИВАТЬ 906/sshd
TCP 0 0 127.0.0.1:953 0.0.0.0:* ПРОСЛУШАТЬ 929/имя
TCP 0 0 0.0.0.0:443 0.0.0.0:* ПРОСЛУШИВАТЬ 4572/haproxy
TCP 0 0 0.0.0.0:22623 0.0.0.0:* ПРОСЛУШИВАТЬ 4572/haproxy
TCP 0 0 0.0.0.0:9000 0.0.0.0:* ПРОСЛУШИВАТЬ 4572/haproxy
TCP 0 0 0.0.0.0:6443 0.0.0.0:* ПРОСЛУШИВАТЬ 4572/haproxy
TCP 0 0 0.0.0.0:111 0.0.0.0:* ПРОСЛУШАТЬ 1/systemd
TCP 0 0 0.0.0.0:80 0.0.0.0:* ПРОСЛУШИВАТЬ 4572/haproxy
TCP 0 0 192.168.122.1:53 0.0.0.0:* ПРОСЛУШАТЬ 1742/dnsmasq
TCP 0 0 10.3.0.14:53 0.0.0.0:* ПРОСЛУШАТЬ 929/имя
TCP 0 0 127.0.0.1:53 0.0.0.0:* ПРОСЛУШАТЬ 929/имя
TCP 0 0 10.2.0.18:22 10.2.0.3:44536 УСТАНОВЛЕНО 1854/sshd: root [pr
TCP 0 0 10.3.0.14:52252 10.3.0.4:6443 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.3.0.14:52134 10.3.0.4:6443 УСТАНОВЛЕНО 4572/haproxy
TCP 0 1 10.3.0.14:42222 10.3.0.8:443 SYN_SENT 4572/хапрокси
TCP 0 0 10.3.0.14:6443 10.3.0.6:51962 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.3.0.14:52130 10.3.0.4:6443 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.3.0.14:6443 10.3.0.6:51946 УСТАНОВЛЕНО 4572/haproxy
TCP 0 1 10.3.0.14:40530 10.3.0.9:443 SYN_SENT 4572/хапрокси
TCP 0 196 10.2.0.18:22 10.2.0.3:44538 УСТАНОВЛЕНО 5000/sshd: root [pr
TCP 0 0 10.2.0.18:45472 10.2.0.5:389 УСТАНОВЛЕНО 878/sssd_be
TCP 0 0 10.3.0.14:51970 10.3.0.4:6443 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.3.0.14:54056 10.3.0.4:6443 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.2.0.18:33328 147.75.69.225:80 TIME_WAIT -
TCP 0 0 10.3.0.14:6443 10.3.0.5:39976 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.3.0.14:6443 10.3.0.5:52462 УСТАНОВЛЕНО 4572/haproxy
TCP 0 1 10.3.0.14:41396 10.3.0.7:22623 SYN_SENT 4572/хапрокси
TCP 0 1 10.3.0.14:41964 10.3.0.9:80 SYN_SENT 4572/хапрокси
TCP 0 1 10.3.0.14:60674 10.3.0.7:6443 SYN_SENT 4572/хапрокси
TCP 0 0 10.3.0.14:6443 10.3.0.5:40024 УСТАНОВЛЕНО 4572/haproxy
TCP 0 0 10.2.0.18:43394 109.205.222.4:80 TIME_WAIT -
tcp6 0 0 :::22 :::* ПРОСЛУШИВАТЬ 906/sshd
tcp6 0 0 ::1:953 :::* ПРОСЛУШАТЬ 929/имя
tcp6 0 0 :::111 :::* ПРОСЛУШАТЬ 1/systemd
tcp6 0 0 :::8080 :::* ПРОСЛУШАТЬ 1131/httpd
tcp6 0 0 :::53 :::* ПРОСЛУШАТЬ 929/имя
udp 0 0 192.168.122.1:53 0.0.0.0:* 1742/dnsmasq
udp 0 0 10.3.0.14:53 0.0.0.0:* 929/имя
udp 0 0 127.0.0.1:53 0.0.0.0:* 929/имя
udp 0 0 0.0.0.0:67 0.0.0.0:* 1742/dnsmasq
udp 0 0 10.3.0.14:68 10.3.0.2:67 УСТАНОВЛЕНО 893/NetworkManager
udp 0 0 10.2.0.18:68 10.2.0.2:67 УСТАНОВЛЕНО 893/NetworkManager
udp 0 0 0.0.0.0:111 0.0.0.0:* 1/системный
udp 0 0 127.0.0.1:323 0.0.0.0:* 857/хронид
udp6 0 0 :::53 :::* 929/имя
udp6 0 0 :::111 :::* 1/системный
udp6 0 0 ::1:323 :::* 857/хронид
Спасибо! = Д
