Рейтинг:0

Какая инфраструктура AWS лучше всего подходит для переноса данных с одного сервера SQL на mongoDB?

флаг id

У меня есть несколько терабайт данных в нашей устаревшей системе, на которой работает SQL-сервер. Наша новая версия работает на MongoDB. Мы переносим эти данные в MongoDB. У нас написаны и проверены скрипты на Python, все перемещение данных происходит корректно.

мы сделали это на более низкой машине с 4 ядрами, если мы сделаем это на большей машине, это будет очень дорого. Время обработки AWS Lambda составляет 15 минут, на завершение одной итерации уходит более 24 часов. Пошаговые функции AWS обещают это, но не уверен, что это правильно.

флаг in
Отвечает ли это на ваш вопрос? [Можете ли вы помочь мне с планированием емкости?](https://serverfault.com/questions/384686/can-you-help-me-with-my-capacity-planning)
J Bourne avatar
флаг id
Спасибо за ответ, но я не ищу планирования емкости, у меня есть эти детали, мне нужна лучшая инфраструктура (в основном из облака AWS) для непрерывного запуска моих скриптов в течение нескольких дней, что позволит перенести данные SQL в монго, чтобы они заканчиваются вовремя.
Рейтинг:2
флаг gp
Tim

Не можете ли вы сделать «mongoexport» локально, экспортировать в S3 (или физическое устройство AWS Snowcone), использовать экземпляр EC2 для «mongoimport», а затем запустить свой скрипт, чтобы выполнить какие-либо обновления после дампа?

Что касается того, как его запускать, вам, вероятно, сойдет с рук использование спотового экземпляра EC2, особенно если вы используете его в нерабочее время для региона — например, в выходные дни. Если вашу работу нельзя прервать, тогда EC2 по требованию. M5.xlarge с 4 ядрами и 16 ГБ ОЗУ стоит 0,20 доллара в час, пара дней — 10 долларов.

Я также отмечу, что, скажем, 3 ТБ на скорости 100 Мбит/с отправка займет 2,6 дня, а на скорости 800 Мбит/с — 7 часов, но поддержание такой пропускной способности может быть затруднено без DirectConnect. Возможно, вам лучше всего использовать Снежный конус AWS это физическое устройство, на которое вы копируете данные, а затем отправляете их в AWS.

Я бы предложил использовать службу миграции баз данных AWS для мигрировать из MongoDB в AWS DocumentDB, которая является их версией MongoDB с другим именем. DMS перенесет данные, затем вы просто указываете свое приложение на новый экземпляр и отключаете старый.

Oscar De León avatar
флаг la
Для «всего» 3 ТБ Snowball может быть излишним. Возможно рассмотреть Snowcone?
Tim avatar
флаг gp
Tim
Да, я думал, что семья Сноу, я отредактирую, чтобы быть более точным.
J Bourne avatar
флаг id
Я уже использую m5.xlarge, это мало помогает. но спасибо за снежный конус и снежную семью, посмотрю на это.
Tim avatar
флаг gp
Tim
Вы лучше всего подходите для рассмотрения требований к инстансу, поскольку у вас есть доступ к метрикам — вам нужно больше ЦП, больше ОЗУ, больше или быстрее хранилища или что-то еще? Я думаю, что снежное семейное устройство будет хорошим выбором для этого.
J Bourne avatar
флаг id
Да, мне нужно больше ЦП и ОЗУ, высокая скорость, я не занимаюсь автономной миграцией данных, я делаю с одного живого сервера БД на другой живой сервер БД.
Tim avatar
флаг gp
Tim
Стоимость более крупного экземпляра в течение дня или двух для миграции огромной базы данных не должна быть большой. Я бы посмотрел на использование службы миграции базы данных AWS для миграции на AWS DocumentDB, которая в основном представляет собой MongoDB с другим ярлыком, вместо использования пользовательских скриптов и вашего собственного экземпляра EC2. Ответ обновлен.

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.