Я пытаюсь понять эффективность использования Фабрики данных Azure для преобразования данных в Snowflake (на основе Azure). У нас есть два возможных сценария, и мы хотим выбрать наиболее эффективный:
Сценарий 1:
- Фабрика данных организует прием необработанных данных в Azure SQL.
- Фабрика данных координирует преобразование и загрузку необработанных данных в Azure SQL в сводные таблицы в Snowflake. Исторические необработанные данные хранятся в Azure SQL.
Сценарий 2:
- Фабрика данных организует прием необработанных данных в Snowflake.
- Фабрика данных организует преобразование необработанных данных в Snowflake в сводные таблицы в Snowflake. Исторические необработанные данные хранятся в Snowflake.
Включает ли сценарий 2 дополнительные затраты на передачу необработанных данных в ADF (наборы данных) из Snowflake на этапе преобразования или все это происходит в Snowflake без передачи набора данных?
Читая документацию ADF, кажется, что само вычисление происходит в связанной службе (т. е. Snowflake), а не в самом ADF, но означает ли это, что данные не покидают Snowflake, когда ADF их преобразует?
Дайте мне знать, если вопрос не ясен.
Спасибо!
