Как извлечь список всех папок корзины или каталогов хранилища AWS S3?

Предоставляет ли Amazon простой способ извлечь список всех папок с файлами размером более 500 МБ из корзины s3? хочу также ограничить область действия каталогами '/files/ftp_upload/'. Это нужно для того, чтобы я мог рассчитать свои затраты и т. д.

Я пробовал это, но не так много помогает

aws s3 ls s3://ВАШЕ_ВЕДРО/ВАША_ПАПКА/ --recursive --удобочитаемый --summarize

каков наилучший подход здесь?

В S3 нет понятия «папки», консоль только представляет данные, такие как папки, в консоли, разделяя ключи объекта на косую черту («/»). Таким образом, для суммирования данных по «папке» потребуется разбор ключа каждого объекта.

Вы можете получить ВСЕ данные для объектов, которые соответствуют префиксу вашего ключа, а затем выполнить некоторую логику и математику, чтобы суммировать их вместе, но это большая работа.

Если вам не нужны данные в режиме реального времени, S3 Inventory может стать хорошим решением. По сути, вы получаете список объектов в указанном сегменте S3 в одном из трех форматов: CSV, Apache ORC или Apache Parquet. Затем вы можете выполнять гораздо более простые вычисления на основе данных.

Недостатком S3 Inventory является то, что для получения отчета требуется день или около того, и это не в режиме реального времени.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/storage-inventory.html

-- Если вы ищете более простой способ управления затратами, вы можете разбить вариант использования, используя по одной корзине S3 для каждого. Затем вы можете использовать теги распределения затрат на уровне корзины.

Кроме того, отчеты об использовании S3 полезны для определения необходимости использования другого класса хранилища.