Дублированные строки платежных данных Google Cloud

Я извлек платежные данные GCP через BigQuery. Я сделал запросы для получения данных за определенный период времени, а затем обнаружил два типа повторяющихся данных:

1. повторяющиеся данные в результате удаления столбца метки

2. дублировать результаты данных из строк обычного запроса (как показано ниже) с полностью одинаковым значением для всех столбцов.

      billing_account_id идентификатор AS,
      service.id КАК ServiceId,
      service.description AS ServiceDescription,
      sku.id КАК Скуид,
      sku.description AS SkuDescription,
      использование_начало_время,
      использование_конечное_время,
      project.id КАК ProjectId,
      номер_проекта AS номер_проекта,
      имя_проекта КАК Имя_проекта,
      project.labels как ProjectLabels,
      project.ancestry_numbers КАК ProjectAncestryNumbers,
      этикетки AS Labels,
      system_labels AS SystemLabels,
      location.location AS Расположение,
      location.country AS Страна,
      location.region Регион AS,
      location.zone Зона AS,
      SUBSTRING(cast(export_time as string), 1, 19) AS ExportTime,
      стоимость AS Стоимость,
      валюта AS Валюта,
      currency_conversion_rate AS CurrencyConversionRate,
      использование.количество AS UsageAmount,
      использование.единица AS UsageUnit,
      использование.amount_in_pricing_units AS UsageAmountInPricingUnits,
      использование.pricing_unit AS UsagePricingUnit,
      кредиты AS Credits,
      инвойс.месяц AS InvoiceMonth,
      cost_type КАК CostType,
      регулировка_info.id КАК регулировкаInfoId,
      корректировка_информация.описание КАК корректировкаInfoDescription,
      корректировка_информации.режим КАК корректировкаInfoMode,
      корректировка_информация.тип КАК корректировкаInfoType
    ОТ 
    'ИМЯ ТАБЛИЦЫ' 
    ГДЕ ДАТА(_PARTITIONTIME) МЕЖДУ вычитаниемFromTime(utcnow(),60,'Day','yyyy-MM-dd') AND formatDateTime(utcnow(),'yyyy-MM-dd')```


** Я хотел бы знать, почему существуют повторяющиеся данные? Как с ними справиться и как убедиться, что дублирующиеся данные не повлияли на расчет затрат?**

Ценю это, если кто-нибудь может мне помочь.


Бестс,
Шокуфе

1. Почему строки дублируются при удалении вложения поля меток?

Когда вы отменяете вложение повторяющегося поля типа, например этикетки, ожидается дублирование строк. Чтобы быть точным, каждая строка дублируется в зависимости от длины этой строки. этикетки множество.

2. Почему есть повторяющиеся строки даже до отмены вложенности?

Если вы создаете 2 виртуальные машины Compute Engine с точной конфигурацией и расположением, строки об использовании бездействия в экспорте счетов для этих 2 виртуальных машин будут точно такими же, если не помечены. Таблица экспорта не имеет явного открытого первичного ключа.

Детализация таблицы экспорта осуществляется только до службы и SKU, а не для каждого ресурса. Это приводит к дублированию выглядящих данных, но они действительно действительны.