Регистрация Войти
Рейтинг:0
Aditya Agarwal avatar Server

Проблема с синхронизацией данных из Amazon RDS в Amazon S3

флаг ai
Aditya Agarwal

Я пытаюсь синхронизировать бинарные журналы в RDS mysql DB с Amazon S3 в режиме реального времени для запросов с помощью Amazon Athena. Я попытался использовать debezium в качестве исходного соединителя для Apache Kafka connect — kafka хранит потоковые данные из RDS и сбрасывает на S3- https://debezium.io/documentation/reference/1.6/architecture.html

Однако проблема заключается в том, что когда мы запрашиваем данные в s3 с помощью athena, мы можем запрашивать любые вставки в базу данных rds, но любые обновления таблицы, похоже, создают двойную запись как со старыми, так и с новыми полями.

Как нам это преодолеть? Есть ли альтернативный подход, который мы могли бы использовать для синхронизации данных между rds и s3 в реальном времени?

49
0 + 0
флаг ar
OneCricketeer
Вопросы о Debezium следует задавать на StackOverfow
0
Ответить
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.