Доброе утро. Когда делаю экспорт базы на 20гб, с RDS

Question

Доброе утро. Когда делаю экспорт базы на 20гб, с RDS

на EC2 - время около 10 минут. Когда же делаю импорт с EC2 на RDS - время почти 5 часов, при этом в консоли aws видно, что RDS использует только 1 ядро с 8. Не подскажите, есть ли какой-то способ заставить RDS использовать все 8 ядер, чтобы импорт базы был не 5 часов, а быстрее?

#devops #programming #russian

0

24.12.2019

1 ответов

10 просмотров

Evgeniy Shumilov · Accepted Answer

Помню, на позапрошлой работе у нас база чуть менее, чем в терабайт заливалась несколько суток. Тогда для целей ускорения отдельно делали дамп структуры и отдельно таблиц, а затем заливали с учётом зависимостей между таблицами в нужной последовательности и в несколько потоков. Тимлид для этого отдельный скрипт набросал. Так же там были таблицы, в которых были десятки миллионов записей, мы заливали их порционно, по 10 тысяч и выводили таймстемпы в промежуткахпосле каждой пачки, после чего строили график с помощью gnuplot. Первые миллионов 7 влетали в таблицу буквально мгновенно, затем график становился всё более и более пологим и потом уже чуть ли не ассимптотически приближался к точке максисмума. Одним словом, чем больше запией в таблице, тем больше времени требовалось на каждый следующий инсерт (индекс то растёт). В итоге сделали партиционирование, а потом вовсе унесли самое тяжелое в монгу.

172 похожих чатов

Доброе утро. Когда делаю экспорт базы на 20гб, с RDS

1 ответов

Похожие вопросы