Рейтинг:0

Сегмент, смонтированный с помощью gcsfuse, не соответствует тому, что находится в моем сегменте облачного хранилища.

флаг us

У меня есть ведро Google Cloud Storage, и я экспериментирую с созданием веб-сайта в Google Cloud Platform (используя Python + Flask FWIW). Для моего первоначального эксперимента я использую gcsfuse для монтирования корзины GCS в качестве файловой системы:

https://github.com/GoogleCloudPlatform/gcsfuse

Следуя указаниям, я установил его в свою облачную оболочку и смонтировал так:

mkdir -p ~/mnt

gcsfuse <моя корзина> ~/mnt

Это работает, но дает мне странный (в высшей степени неточный) вид на мое ведро. Он показывает какую-то структуру каталогов YYYY-MM (все пустые) и кучу файлов на верхнем уровне (правда, далеко не все из них), но это не похоже на то, что на самом деле у меня в корзине. Я могу убедиться, что мои фактические данные все еще доступны, посетив мой существующий статический веб-сайт GCS и просмотрев архивные каталоги YYYY-MM по дате и потоку, просмотрев содержащиеся в них сообщения:

http://www.smontanaro.net/

(Я знаю, это уродливо. Это одна из причин использовать что-то более современное для создания приличного веб-сайта.)

Я новичок в gcsfuse и Google Cloud Platform, поэтому вполне вероятно, что я делаю что-то не так. Любые предложения о том, где искать подсказки, будут высоко оценены.

Изменить: я загружаю файлы со своего ноутбука с помощью gsutil:

gsutil -m cp -I gs://<my-bucket>/путь...

(Это не очень большие данные, менее 10 ГБ. GCS был просто местом, где их можно было легко бросить и сделать доступными через Интернет.)

Редактировать: я создал новое ведро и добавил несколько файлов. Я могу gcsfuse смонтировать его из облачной оболочки (либо для моего проекта GCP, либо для проекта GCS) и просмотреть файлы. Я до сих пор безуспешно пытался смонтировать его со своего ноутбука с Linux, получая:

SetUpBucket: OpenBucket: неверные учетные данные для корзины "<my-bucket>": разрешение отклонено

Это при указании файла ключа JSON, который я создал для своего проекта GCP.

RJC avatar
флаг us
RJC
Пожалуйста, избегайте публичного доступа к вашей корзине, так как другие члены сообщества могут получить к ней доступ, чтобы попытаться решить или воспроизвести вашу проблему, и это может вызвать внезапный всплеск трафика вашего API.
RJC avatar
флаг us
RJC
Как вы создали и наполнили свое ведро? Помимо официальной документации, есть ли какие-либо руководства, которым вы следовали при создании своего ведра? Кроме того, можете ли вы проверить или попытаться создать новую корзину и смонтировать ее на том же диске, на котором вы установили текущую корзину, и посмотреть, будет ли у вас такое же поведение. Можете ли вы попытаться создать новую папку в существующей корзине и посмотреть, возникнет ли та же проблема с этой вновь созданной папкой?
флаг us
Спасибо @RJC. Я подправил свои примеры и подробно описал, как я заполняю ведро. Я позабочусь о создании нового ведра и его установке позже, как только я полностью выпью кофеина, а затем отчитаюсь.
RJC avatar
флаг us
RJC
Привет @smontanaro, `-I` использует стандартный ввод, чтобы указать список файлов или объектов для копирования.Не могли бы вы вместо этого использовать [rsync](https://cloud.google.com/storage/docs/gsutil/commands/rsync#description) для копирования файлов в корзину? Кроме того, новая ошибка выглядит как другая проблема. Я предлагаю опубликовать новый вопрос об этом, чтобы изолировать его.
флаг us
Спасибо, да, я понимаю, что я делаю. Мой процесс загрузки файлов находит список файлов для загрузки и передает их в gsutil, который ожидает список файлов на стандартном вводе. Я думаю, что на данный момент я сталкиваюсь (в основном) с проблемами доступа к корзинам/объектам. Я создам новый вопрос.
флаг us
Заключительный комментарий... Вот мой новый вопрос: https://serverfault.com/questions/1083965/confused-about-how-to-manipulate-gcs-bucket-object-permissions

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.