Регистрация Войти
Рейтинг:0
PShaikh avatar Server

Не удалось установить K3s на виртуальной машине Proxmox

флаг cn
PShaikh

Я пытаюсь создать кластер HA k3s, используя Proxmox и небольшой парк Raspberry PI 4B.

Для PI все работает нормально, но при попытке установить мастер на ВМ Proxmox не запускается.

Моя установка:

  • Хост: Proxmox 7.0.7 (пробовал и с 6.4.4)
  • Гость: Ubuntu 20.04.2
  • K3S: v1.21.3+k3s1 (пробовал и с v1.19.13+k3s1)
  • МарияДБ: 10.3

Я запускаю эти команды, чтобы установить мастер

экспорт K3S_DATASTORE_ENDPOINT='mysql://DB_USER:DB_PASSWORD@tcp(DB_IP:DB_PORT)/DB_SCHEME'

curl -sfL https://get.k3s.io | sh -s - server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANCER_IP

Это результат установки и запуска:

[INFO] Использование v1.19.13+k3s1 в качестве выпуска
[INFO] Загрузка хэша https://github.com/k3s-io/k3s/releases/download/v1.19.1 3+k3s1/sha256sum-amd64.txt
[INFO] Загрузка бинарника https://github.com/k3s-io/k3s/releases/download/v1.19 .13+k3s1/k3s
[INFO] Проверка загрузки двоичного файла
[INFO] Установка k3s в /usr/local/bin/k3s
[INFO] Создание символической ссылки /usr/local/bin/kubectl на k3s
[INFO] Создание символической ссылки /usr/local/bin/crictl на k3s
[INFO] Создание символической ссылки /usr/local/bin/ctr на k3s
[INFO] Создание скрипта killall /usr/local/bin/k3s-killall.sh
[INFO] Создание сценария удаления /usr/local/bin/k3s-uninstall.sh
[INFO] env: Создание файла окружения /etc/systemd/system/k3s.service.env
[INFO] systemd: Создание служебного файла /etc/systemd/system/k3s.service
[INFO] systemd: включение модуля k3s
Создал символическую ссылку /etc/systemd/system/multi-user.target.wants/k3s.service — /etc/systemd/system/k3s.service.
[INFO] systemd: запуск k3s
Задание для k3s.service завершилось неудачно, так как процесс управления завершился с кодом ошибки.
Подробности смотрите в "systemctl status k3s.service" и "journalctl -xe".

Я проверил журналы:

статус systemctl k3s.service


▪ k3s.service — облегченный Kubernetes
     Загружено: загружено (/etc/systemd/system/k3s.service; включено; предустановка поставщика: включена)
     Активно: активация (автоматический перезапуск) (Результат: код выхода) со вторника 03.08.2021 20:27:40 UTC; 2 секунды назад
       Документы: https://k3s.io
    Процесс: 6181 ExecStartPre=/bin/sh -xc ! /usr/bin/systemctl включено --quiet nm-cloud-setup.service (код=выход, статус=0/УСПЕХ)
    Процесс: 6193 ExecStartPre=/sbin/modprobe br_netfilter (code=exited, status=0/SUCCESS)
    Процесс: 6194 ExecStartPre=/sbin/modprobe overlay (code=exited, status=0/SUCCESS)
    Процесс: 6195 ExecStart=/usr/local/bin/k3s server --node-taint CriticalAddonsOnly=true:NoExecute --tls-san NGINX_LOADBALANNCER_IP (код=выход, статус=1/FAILURE)
   Основной PID: 6195 (код=выход, статус=1/НЕИСПРАВНОСТЬ)

03 августа, 20:27:40 k3svm1 systemd[1]: k3s.service: основной процесс завершен, код = завершен, статус = 1/FAILURE
03 августа, 20:27:40 k3svm1 systemd[1]: k3s.service: Ошибка с результатом «код выхода».
03 августа, 20:27:40 k3svm1 systemd[1]: не удалось запустить облегченный Kubernetes.

и:

журналctl -u k3s.service


03 августа, 20:06:17 k3svm1 systemd[1]: запуск облегченного Kubernetes...
03 августа, 20:06:17 k3svm1 sh[19450]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 августа, 20:06:17 k3svm1 sh[19451]: не удалось получить состояние файла модуля для nm-cloud-setup.service: такого файла или каталога нет
03 августа 20:06:17 k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="Получение файла блокировки /var/lib/rancher/k3s/data/.lock"
03 августа 20:06:17 k3svm1 k3s[19460]: time="2021-08-03T20:06:17Z" level=info msg="Подготовка каталога данных /var/lib/rancher/k3s/data/9df574741d2573cbbe6616e8624488b36c1b1340d077bc55
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.748397535Z" level=info msg="Запуск k3s v1.21.3+k3s1 (1d1f220f)"
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751745749Z" level=info msg="Настройка пула соединений с базой данных mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.751876220Z" level=info msg="Настройка схемы таблицы базы данных и индексов, это может занять некоторое время..."
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.753348552Z" level=info msg="Таблицы и индексы базы данных обновлены"
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.757714719Z" level=info msg="Kine прослушивает unix://kine.sock"
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.764631916Z" level=info msg="certificate CN=system:admin,O=system:masters подписано CN=k3s -client-ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:>
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.765377675Z" level=info msg="certificate CN=system:kube-controller-manager подписано CN=k3s-client -ca @ 1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20>
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766187231Z" level=info msg="certificate CN=system:kube-scheduler подписан CN=k3s-client-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0>
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.766815165Z" level=info msg="certificate CN=kube-apiserver подписано CN=k3s-client-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767415198Z" level=info msg="certificate CN=system:kube-proxy, подписанный CN=k3s-client-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 >
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.767950031Z" level=info msg="certificate CN=system:k3s-controller подписан CN=k3s-client-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0>
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.768698847Z" level=info msg="сертификат CN=k3s-cloud-controller-manager, подписанный CN=k3s-client -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:0>
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.769745716Z" level=info msg="certificate CN=kube-apiserver, подписанный CN=k3s-server-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.770870630Z" level=info msg="certificate CN=system:auth-proxy, подписанный CN=k3s-request-header -ca@1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:1>
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.771882180Z" level=info msg="сертификат CN=etcd-server, подписанный CN=etcd-server-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.772508382Z" level=info msg="сертификат CN=etcd-client, подписанный CN=etcd-server-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.773399505Z" level=info msg="certificate CN=etcd-peer, подписанный CN=etcd-peer-ca@1628021178 : notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813171353Z" level=info msg="сертификат CN=k3s,O=k3s, подписанный CN=k3s-server-ca @1628021178: notBefore=2021-08-03 20:06:18 +0000 UTC notAfter=2022-08-03 20:06:18 +0000 UTC"
03 августа 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.813556476Z" level=info msg="Активный секрет TLS (ver=) (счетчик 9): map[listener.cattle .io/cn-10.43.0.1:10.43.0.1 listener.cattle.io/cn-127.0.0.1:127.0.0.1 listener.cattle.io/cn->
03 августа, 20:06:18 k3svm1 k3s[19460]: time="2021-08-03T20:06:18.819862032Z" level=fatal msg="запуск kubernetes: подготовка сервера: данные начальной загрузки уже найдены и зашифрованы другим токеном"
03 августа, 20:06:18 k3svm1 systemd[1]: k3s.service: основной процесс завершен, код = завершен, статус = 1/FAILURE
03 августа, 20:06:18 k3svm1 systemd[1]: k3s.service: Ошибка с результатом «код выхода».
03 августа, 20:06:18 k3svm1 systemd[1]: не удалось запустить облегченный Kubernetes.
03 августа, 20:06:23 k3svm1 systemd[1]: k3s.service: запланированное задание перезапуска, счетчик перезапусков равен 1.
03 августа, 20:06:23 k3svm1 systemd[1]: остановлен облегченный Kubernetes.
03 августа, 20:06:23 k3svm1 systemd[1]: запуск облегченного Kubernetes...
03 августа, 20:06:23 k3svm1 sh[19478]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 августа, 20:06:23 k3svm1 sh[19483]: не удалось получить состояние файла модуля для nm-cloud-setup.service: такого файла или каталога нет
03 августа 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.115279840Z" level=info msg="Запуск k3s v1.21.3+k3s1 (1d1f220f)"
03 августа 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119390931Z" level=info msg="Настройка пула соединений с базой данных mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
03 августа 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.119554649Z" level=info msg="Настройка схемы таблицы базы данных и индексов, это может занять некоторое время..."
03 августа 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.121305745Z" level=info msg="Таблицы и индексы базы данных обновлены"
03 августа 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.125898745Z" level=info msg="Kine прослушивает unix://kine.sock"
03 августа, 20:06:24 k3svm1 k3s[19489]: time="2021-08-03T20:06:24.146164308Z" level=fatal msg="запуск kubernetes: подготовка сервера: данные начальной загрузки уже найдены и зашифрованы другим токеном"
03 августа, 20:06:24 k3svm1 systemd[1]: k3s.service: основной процесс завершен, код = завершен, статус = 1/FAILURE
03 августа, 20:06:24 k3svm1 systemd[1]: k3s.service: Ошибка с результатом «код выхода».
03 августа, 20:06:24 k3svm1 systemd[1]: не удалось запустить облегченный Kubernetes.
03 августа, 20:06:29 k3svm1 systemd[1]: k3s.service: запланированное задание перезапуска, счетчик перезапусков равен 2.
03 августа, 20:06:29 k3svm1 systemd[1]: остановлен облегченный Kubernetes.
03 августа, 20:06:29 k3svm1 systemd[1]: запуск облегченного Kubernetes...
03 августа, 20:06:29 k3svm1 sh[19507]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 августа, 20:06:29 k3svm1 sh[19508]: не удалось получить состояние файла модуля для nm-cloud-setup.service: такого файла или каталога нет.
03 августа 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.565328025Z" level=info msg="Запуск k3s v1.21.3+k3s1 (1d1f220f)"
03 августа 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568959518Z" level=info msg="Настройка пула соединений с базой данных mysql: maxIdleConns=2, maxOpenConns=0, connMaxLifetime=0s "
03 августа 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.568994906Z" level=info msg="Настройка схемы таблицы базы данных и индексов, это может занять некоторое время..."
03 августа 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.570693830Z" level=info msg="Таблицы и индексы базы данных обновлены"
03 августа, 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.575194321Z" level=info msg="Kine прослушивает unix://kine.sock"
03 августа, 20:06:29 k3svm1 k3s[19511]: time="2021-08-03T20:06:29.594809727Z" level=fatal msg="запуск kubernetes: подготовка сервера: данные начальной загрузки уже найдены и зашифрованы другим токеном"
03 августа, 20:06:29 k3svm1 systemd[1]: k3s.service: основной процесс завершен, код = завершен, статус = 1/FAILURE
03 августа, 20:06:29 k3svm1 systemd[1]: k3s.service: Ошибка с результатом «код выхода».
03 августа, 20:06:29 k3svm1 systemd[1]: не удалось запустить облегченный Kubernetes.
03 августа, 20:06:34 k3svm1 systemd[1]: k3s.service: запланированное задание перезапуска, счетчик перезапусков равен 3.
03 августа, 20:06:34 k3svm1 systemd[1]: остановлен облегченный Kubernetes.
03 августа, 20:06:34 k3svm1 systemd[1]: запуск облегченного Kubernetes...
03 августа, 20:06:34 k3svm1 sh[19527]: + /usr/bin/systemctl is-enabled --quiet nm-cloud-setup.service
03 августа, 20:06:34 k3svm1 sh[19530]: не удалось получить состояние файла модуля для nm-cloud-setup.service: такого файла или каталога нет.

Оттуда перезапуски продолжаются.

Как уже упоминалось, я пробовал несколько версий, но ничего не работает. Кроме того, я действительно не получаю ошибку. Единственный совет, который я нашел в различных проблемах GitHub, заключался в том, чтобы включить контейнеризацию в отношении Raspberry PI, отредактировав /boot/cmdline.txt. Однако у меня возникает проблема не с PI, а с Proxmox-VM.

Есть ли что-то, что мне не хватает?

Как-то этот парень удалось заставить его работать в той же настройке. Кто-то еще запустил его и может дать какую-то ссылку?

1296
0 + 3
Michael Hampton avatar
флаг cz
Michael Hampton
Вы пытались запустить установку дважды поверх уже существующей установки?
0
Ответить
PShaikh avatar
флаг cn
PShaikh
нет, я установил, получил ошибку, запустил скрипт удаления и попробовал еще раз
0
Ответить
djdomi avatar
флаг za
djdomi
@PSaikh я предлагаю начать с новой виртуальной машины и делать это шаг за шагом.
0
Ответить
Pranav avatar
флаг cn
Pranav
Есть новости по этому вопросу? Я тоже сталкиваюсь с тем же.
0
Ответить
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.