👹 LA

эти все запросы взяты по подобию отсюда (3.1. Алгоритм полной синхронизации -> DELETE, UPDATE, INSERT): https://habr.com/ru/company/tensor/blog/492464/ - там КЛАДР таким образ...

Наткнулся на статью на хабре как обрабатывать обновление базы на примере КЛАДР (пункт 3.1 - алгоритм полной синхронизации): https://habr.com/ru/company/tensor/blog/492464/ Су...

я бы рад такое и сам придумать, но я не осилил)) поэтому и не могу осилить их изменение до человеческого вида 🙂 > Я бы понял, если бы name_servers не менялось (можно было бы ...

и ещё вопрос по поводу: name_servers INTEGER[] NOT NULL, я потом на него делаю GIN индекс, но как раз хочется уйти от INTEGER ARRAY и придти к TEXT ARRAY, только вот есть з...

Можно ли однозначно сказать, что запрос №2 или №3 будет быстрее выполняться чем запрос №1? В таблице domain 150 млн строк, в таблице tmp обычно по 5 млн строк. Запрос №1 (upd...

есть задача обновить таблицу на 150 млн строк новыми данными из свежей выгрузки, на хабре нашел статью с примерами как это делать силами pg, переделал под себя, теперь хочется...

> Если там есть другие БД, их Вы тоже потеряете. Там их нету 🙂 > Ну и вообще, см. Спасибо за отличный список 🙂 > А зачем она партиционирована Мне наоборот показалось с парти...

Друзья, посмотрите мой explain, пожалуйста. И посоветуйте как быть с вот таким адским INSERT'ом (сам запрос там тоже есть): https://explain.tensor.ru/archive/explain/2978fa090...

Всем привет. Заливаю в UNLOGGED TABLE 150 млн строк через COPY кусками по 10к строк, с небольшой предобработкой на это уходит 12-15 часов 😵 Как бы мне ускорить этот процесс? ...

удаление по итогу нельзя делать, потому что интересует что было удалено, поэтому обновление там разное - нужно помечать что реально изменилось/что было удалено и что удалённое...

Существуюет ли возможность каким-то образом уменьшить объем pgdata директории? Может быть экстеншен есть какой-то, который жмёт данные на лету хотя бы в пару раз, не сильно вл...

второй вариант рабочий? у кого-то был опыт с таким?

А как память победить? Я так и не понял, вынес на верхний уровень настройку и ничего не поменялось

а может есть ещё смысл убрать столбцы, которые пустые на вставке и нужны уже потом? то есть уменьшить кол-во столбцов в таблице до минимума, а потом создать уже нужные, когда...

может быть что-то ещё докрутить для массовой ставки через COPY? Индекс уберу, не подумал про Primary Key, его и потом можно)

ни у кого нет идей как это ускорить? про btree-индекс на domain таки не понял куда его надо, на обе таблицы или на одну (

> Так какой размер данных-то? пардон, забыл ответить - pgdata 36ГБ после вставки

ссылку я увидел сегодня, а тестил вчера 😄 с jsonb что-то такое прокатит?

или может быть что бы вы поменяли в этом запросе, чтоб он был оптимальнее?

а что именно странно? я совсем не DBA )