Не удается обнаружить устройство CUDA после перезапуска Google Cloud Notebook

Эта проблема возникла сегодня, когда я перезапустил сервер облачного ноутбука. Можно воспроизвести, выполнив следующие действия:

1. Создайте сервер Google Cloud Notebook с помощью Tensorflow или Pytorch и графического процессора.

2. После запуска сервера откройте консоль Python:

>>> импортный факел
>>> torch.cuda.is_available()
Истинный

Устройство CUDA доступно до сих пор.

3. Перезапустите сервер и снова откройте блокнот.

>>> импортный факел
>>> torch.cuda.is_available()
/opt/conda/lib/python3.7/site-packages/torch/cuda/__init__.py:52: UserWarning: Инициализация CUDA: неизвестная ошибка CUDA - это может быть связано с неправильно настроенной средой, например. изменение переменной окружения CUDA_VISIBLE_DEVICES после запуска программы. Установка доступных устройств на ноль. (Инициируется внутренним образом в /opt/conda/conda-bld/pytorch_1614378098133/work/c10/cuda/CUDAFunctions.cpp:109.)
  вернуть факел._C._cuda_getDeviceCount() > 0
ЛОЖЬ

nvidia-smi команда работает нормально.

+--------------------------------------------- ----------------------------+
| NVIDIA-SMI 450.80.02 Версия драйвера: 450.80.02 Версия CUDA: 11.0 |
|-------------------------------+---------------- -----+----------------------+
| Имя GPU Persistence-M| Bus-Id Disp.A | Летучий некорр. ЕСК |
| Мощность вентилятора Temp Perf:Использование/Ограничение| Использование памяти | GPU-Util Compute M. |
| | | МИГ М. |
|===============================+================= =====+======================|
| 0 Тесла Т4 Выкл | 00000000:00:04.0 Выкл | 0 |
| Н/Д 43C P0 16 Вт / 70 Вт | 0МиБ / 15109МиБ | 0% По умолчанию |
| | | Н/Д |
+---------------------------------------------+---------------- -----+----------------------+
                                                                               
+--------------------------------------------- ----------------------------+
| Процессы: |
| GPU GI CI PID Тип Имя процесса Память GPU |
| ID Использование ID |
|================================================ =============================|
| Запущенных процессов не найдено |
+--------------------------------------------- ----------------------------+

nvcc: драйвер компилятора NVIDIA (R) Cuda
Авторское право (c) 2005-2020 Корпорация NVIDIA
Построено в четверг_июня_11_22:26:38_PDT_2020
Инструменты компиляции Cuda, выпуск 11.0, V11.0.194
Сборка cuda_11.0_bu.TC445_37.28540450_0

Эту проблему также можно воспроизвести с помощью TensorFlow. Как исправить такой случай?

Опция 1:
Обновите среду экземпляра Notebooks. Обратитесь соединять усовершенствовать.
Экземпляры ноутбуков, которые можно обновить, являются двухдисковыми, с одним загрузочным диском и одним диском данных. В процессе обновления загрузочный диск обновляется до нового образа, сохраняя ваши данные на диске данных.

Вариант2:
Подключитесь к виртуальной машине ноутбука через SSH и выполните команды соединять.
После выполнения команд версия cuda обновится до 11.3, а версия драйвера nvidia — до 465.19.01.
Перезапустите виртуальную машину ноутбука.

Примечание: Проблема решена в образах GPU. Новые блокноты будут создаваться с версией образа M74. Информация о новой версии изображения еще не обновлена ​​в google-public-issue-tracker но вы можете найти новую версию образа M74 в консоли.