Добрый вечер. Пытаюсь ускорить восстановление дампа, вижу что основное торможение

Question

Добрый вечер. Пытаюсь ускорить восстановление дампа, вижу что основное торможение

просходит на создании индексов. Конфиг 6vcpu,32ГБ памяти, SSD. max workers выставлено 6. По ресурсам проц грузится на 20%,память также. Куда копать чтобы ускорить создание?

#backend #devops #pgsql #programming #russian

0

08.10.2023

16 ответов

15 просмотров

Oleg Автор вопроса

andreyvsc
maintenance_workers чему равно?

max_parallel которые? 0 стоит.

0

08.10.2023

@angry_web

Типовое админское решение: сначала закачать данные, затем создать индексы (Не утверждаю, что это хорошее решение, но работает)

0

08.10.2023

andreyvsc

@angry_web
Типовое админское решение: сначала закачать данные...

Если человек дамп разливает, то там create index уже в теле. Выкусывать их что ли?

0

08.10.2023

@angry_web

andreyvsc
Если человек дамп разливает, то там create index у...

да

0

08.10.2023

Radist

@angry_web
Типовое админское решение: сначала закачать данные...

Если дамп снимали через pg_dump, там уже все возможные трюки для ускорения развёртывания сделаны.

0

08.10.2023

Ilya Anfimov

andreyvsc
Если человек дамп разливает, то там create index у...

Вообще можно и повыкусывать (дело незитрое) — но если не выпендриыаясь создать pg_dump – то оно само так и будет.

0

08.10.2023

@angry_web

andreyvsc
Если человек дамп разливает, то там create index у...

Скорее всего, он заливает дамп в sql текстом

0

08.10.2023

Oleg Автор вопроса

Radist
Если дамп снимали через pg_dump, там уже все возмо...

Да, стандартный pg_dump

0

08.10.2023

Oleg Автор вопроса

@angry_web
Скорее всего, он заливает дамп в sql текстом

Так точно. \i file.

0

08.10.2023

andreyvsc

@angry_web
Скорее всего, он заливает дамп в sql текстом

Я понял. Если знаешь какой ручкой отключить индексы в ресторе - уже не спрашиваешь. Значит это знание еще не пришло. :)

0

08.10.2023

Ilya Anfimov

Radist
Если дамп снимали через pg_dump, там уже все возмо...

На сколько я помню — не все.

0

08.10.2023

Radist

Ilya Anfimov
На сколько я помню — не все.

Что же он не умеет? Из такого, что не зависит от схемы данных.

0

08.10.2023

@angry_web

Oleg
Так точно. \i file.

Тогда файлы пересобери: создание схемы, залив данных, создание индексов

0

08.10.2023

Ilya Anfimov

Radist
Что же он не умеет? Из такого, что не зависит от с...

Получить данные в порядке primary key, и создать его сразу, чтобы заполнялся вместе с остальной табоицэй, например. Или дажэ не primary, а в порядке самого большого индэкса. Вообще – там немного оптимизацый, так что всегда можно что-то придумать.

0

08.10.2023

Radist

Ilya Anfimov
Получить данные в порядке primary key, и создать е...

Т.е., сходу кластеризовать таблицу? Это оптимизирует сам индекс, но в итоге, потребует немного больше времени на формирование дампа, плюс я бы предпочёл знать о таком побочном эффекте, в идеале - иметь над ним контроль (вдруг утилита выберет неудачный индекс). В общем-то, pg_dump позволяет такой хитрый дамп приготовить вручную: снимается часть до данных и отдельно часть после данных (есть готовые ключи для этого), а сами данные сливаются вручную командами copy + формируется скрипт для заливки Я что-то такое делал когда надо было слить часть данных с медленного сервака, доступного по не очень быстрому впн-каналу, только задачи сортировки не было

0

08.10.2023

andreyvsc · Accepted Answer

andreyvsc

maintenance_workers чему равно?

0

08.10.2023

172 похожих чатов

Добрый вечер. Пытаюсь ускорить восстановление дампа, вижу что основное торможение

16 ответов

Похожие вопросы