Друзья, вопрос такой, пока идёт pg_basebackup, в этот промежуток чекпойнт

Question

pgsql – PostgreSQL

Andrey K.

Друзья, вопрос такой, пока идёт pg_basebackup, в этот промежуток чекпойнт

может быть выполнен по своему графику? Или все пока копится в валах ?

#backend #devops #pgsql #programming #russian

0

21.08.2023

12 ответов

14 просмотров

Andrey K. Автор вопроса

Yaroslav Schekin
> в этот промежуток чекпойнт может быть выполнен п...

спасибо. Я пытался разобрать для себя подкапотную работу , и предположил, что если сначала делается чекпойнт, и дальше начинается копирование файлов БД - то логично предположить, что либо он забирает некий снепшот (а так работа с БД вместе со сбросом данных на диск идет своим чередом), либо файлы неизменны, а изменения пока копятся в валах.

0

21.08.2023

Yaroslav Schekin

Andrey K.
спасибо. Я пытался разобрать для себя подкапотную ...

Ничего "волшебного" там не происходит — всё это основано на тех же принципах, что и recovery (после нештатного выключения, например). Т.е.: синхронизировали блоки на диск (checkpoint) → скопировали блоки (файлы) в том состоянии, в котором они были на время копирования (т.к. это не один момент времени, они могут быть не консистентными) → скопировали весь WAL от начала backup (начиная с той checkpoint) и до завершения копирования (если это stand-alone backup). При восстановлении backup именно применение этого WAL исправит все проблемы консистентности (как это происходит и в случае recovery), да и всё.

0

21.08.2023

Andrey K. Автор вопроса

Yaroslav Schekin
Ничего "волшебного" там не происходит — всё это ос...

> скопировали блоки (файлы) в том состоянии, в котором они были на время копирования на протяжении всего времени бэкапа ? Если да, то он скопировал файл Х, потом через час файл Х поменялся - бейзбэкап чекнул и дописал себе инкремент ?

0

21.08.2023

Andrey K. Автор вопроса

Andrey K.
> скопировали блоки (файлы) в том состоянии, в кот...

хотя , наверное, нет... Тогда нафига ему валы с самого первого (pg_start_backup) чекйпойнта. Тогда все же ближе к снепшоту по смыслу

0

21.08.2023

Yaroslav Schekin

Andrey K.
> скопировали блоки (файлы) в том состоянии, в кот...

> на протяжении всего времени бэкапа ? Никакого "протяжения" там нет — в каком состоянии копирование "наткнулось" на блок (какого-то файла), в таком оно его и заберёт (прочитает и запишет в backup). Всё это будет откорректировано "накатом" WAL при восстановлении. > потом через час файл Х поменялся - бейзбэкап чекнул и дописал себе инкремент ? Ничего он никогда не перечитывает и не "чекает" — тупо копирует то, что "видит".

0

21.08.2023

Andrey K. Автор вопроса

Yaroslav Schekin
> на протяжении всего времени бэкапа ? Никакого ...

угу, да, вот я как раз выше предположил схожесть с чекпойнтом

0

21.08.2023

Andrey K. Автор вопроса

Andrey K.
угу, да, вот я как раз выше предположил схожесть с...

ой блин, со СНЕПШОТОМ, конечно же, сорри за капс

0

21.08.2023

Andrey K. Автор вопроса

Andrey K.
ой блин, со СНЕПШОТОМ, конечно же, сорри за капс

исправил в изначальном сообщении. Совсем плохой что-то

0

21.08.2023

Yaroslav Schekin

Andrey K.
угу, да, вот я как раз выше предположил схожесть с...

Сходство есть, да. Но, в отличие от snapshotting, в процессе backup СУБД работает обычным образом, грубо говоря.

0

21.08.2023

Andrey K. Автор вопроса

Файл А "пойман" в 22-00 - скопирован в состоянии на 22-00. Перешел к файлу Б в 22-05 - скопировал в состоянии на 22-05. Потом валами отполировал так?

0

21.08.2023

Yaroslav Schekin

Andrey K.
Файл А "пойман" в 22-00 - скопирован в состоянии н...

Да (ну и файлы-то тоже не целиком копируются, а блоками или даже их частями). В любом случае, "накат" WAL всё откорректирует.

0

21.08.2023

Yaroslav Schekin · Accepted Answer

Yaroslav Schekin

> в этот промежуток чекпойнт может быть выполнен по своему графику? Может, почему нет? Просто в начале его работы выполняется checkpoint, так что на практике это происходит не так часто, наверное.

0

21.08.2023

172 похожих чатов

Друзья, вопрос такой, пока идёт pg_basebackup, в этот промежуток чекпойнт

12 ответов

Похожие вопросы