Добрый вечер. Пытаюсь ускорить восстановление дампа, вижу что основное торможение

Question

Добрый вечер. Пытаюсь ускорить восстановление дампа, вижу что основное торможение

просходит на создании индексов. Конфиг 6vcpu,32ГБ памяти, SSD. max workers выставлено 6. По ресурсам проц грузится на 20%,память также. Куда копать чтобы ускорить создание?

#backend #devops #pgsql #programming #russian

0

08.10.2023

16 ответов

7 просмотров

Oleg Автор вопроса

andreyvsc
maintenance_workers чему равно?

max_parallel которые? 0 стоит.

0

8 месяцев назад

@angry_web

Типовое админское решение: сначала закачать данные, затем создать индексы (Не утверждаю, что это хорошее решение, но работает)

0

8 месяцев назад

andreyvsc

@angry_web
Типовое админское решение: сначала закачать данные...

Если человек дамп разливает, то там create index уже в теле. Выкусывать их что ли?

0

8 месяцев назад

@angry_web

andreyvsc
Если человек дамп разливает, то там create index у...

да

0

8 месяцев назад

Radist

@angry_web
Типовое админское решение: сначала закачать данные...

Если дамп снимали через pg_dump, там уже все возможные трюки для ускорения развёртывания сделаны.

0

8 месяцев назад

Ilya Anfimov

andreyvsc
Если человек дамп разливает, то там create index у...

Вообще можно и повыкусывать (дело незитрое) — но если не выпендриыаясь создать pg_dump – то оно само так и будет.

0

8 месяцев назад

@angry_web

andreyvsc
Если человек дамп разливает, то там create index у...

Скорее всего, он заливает дамп в sql текстом

0

8 месяцев назад

Oleg Автор вопроса

Radist
Если дамп снимали через pg_dump, там уже все возмо...

Да, стандартный pg_dump

0

8 месяцев назад

Oleg Автор вопроса

@angry_web
Скорее всего, он заливает дамп в sql текстом

Так точно. \i file.

0

8 месяцев назад

andreyvsc

@angry_web
Скорее всего, он заливает дамп в sql текстом

Я понял. Если знаешь какой ручкой отключить индексы в ресторе - уже не спрашиваешь. Значит это знание еще не пришло. :)

0

8 месяцев назад

Ilya Anfimov

Radist
Если дамп снимали через pg_dump, там уже все возмо...

На сколько я помню — не все.

0

8 месяцев назад

Radist

Ilya Anfimov
На сколько я помню — не все.

Что же он не умеет? Из такого, что не зависит от схемы данных.

0

8 месяцев назад

@angry_web

Oleg
Так точно. \i file.

Тогда файлы пересобери: создание схемы, залив данных, создание индексов

0

8 месяцев назад

Ilya Anfimov

Radist
Что же он не умеет? Из такого, что не зависит от с...

Получить данные в порядке primary key, и создать его сразу, чтобы заполнялся вместе с остальной табоицэй, например. Или дажэ не primary, а в порядке самого большого индэкса. Вообще – там немного оптимизацый, так что всегда можно что-то придумать.

0

8 месяцев назад

Radist

Ilya Anfimov
Получить данные в порядке primary key, и создать е...

Т.е., сходу кластеризовать таблицу? Это оптимизирует сам индекс, но в итоге, потребует немного больше времени на формирование дампа, плюс я бы предпочёл знать о таком побочном эффекте, в идеале - иметь над ним контроль (вдруг утилита выберет неудачный индекс). В общем-то, pg_dump позволяет такой хитрый дамп приготовить вручную: снимается часть до данных и отдельно часть после данных (есть готовые ключи для этого), а сами данные сливаются вручную командами copy + формируется скрипт для заливки Я что-то такое делал когда надо было слить часть данных с медленного сервака, доступного по не очень быстрому впн-каналу, только задачи сортировки не было

0

8 месяцев назад

andreyvsc · Accepted Answer

andreyvsc

maintenance_workers чему равно?

0

8 месяцев назад

172 похожих чатов

Добрый вечер. Пытаюсь ускорить восстановление дампа, вижу что основное торможение

16 ответов

Похожие вопросы