172 похожих чатов

Коллеги, а можно соцопрос? :) Есть таблица на 30 полей и

150М строк. Одно из полей - date, индексов на нем нет.
Таблицу постоянно кто-то читает, некоторые читатели забирают и это самое поле, но таких меньшинство. И в таблицу раз 10-20 в минуту приходит либо insert, который про это конкретное поле date ничего не знает (default null), либо update, который про поле тоже ничего не знает и не трогает. Нужно обновить этому полю 50М значений из внешней таблицы не потеряв набегающие данные писателей и не ввергнув читателей в коматоз ожидания io, например.
Есть два доступных пути решения:
1. Клонировать таблицу, накатывать изменения поля из внешней таблицы, подменять таблицу и доливать в нее изменения, которые успели произойти в оригинале. Так уже пару раз делали, опыт есть.
2. Сделать update в лоб из внешней таблицы.

Соцопрос в следующем: что бы выбрать?

12 ответов

12 просмотров

3-й вариант: выбирать пачки записей ограниченного размера (10 000) вдоль какого-нить индекса (PK) у котороых искомое поле IS NULL, менять. повторять пока всё не измените

Неважно же, забирают читатели это поле, и "трогают" ли его UPDATE — в PostgreSQL всё происходит на уровне записей, грубо говоря. > не потеряв набегающие данные писателей и не ввергнув читателей в коматоз ожидания io Тут уже от "железа" зависит. А точно стоит "заморачиваться" на таких объёмах? Т.е. какой там размер этой таблицы / индексов, в самом деле — может, всё это будет достаточно быстро и не "тяжело" и так?

Andrey-Tatarnikov Автор вопроса
Виктор Егоров
3-й вариант: выбирать пачки записей ограниченного ...

Нет гарантии, что где у целевого Pk есть обновлённое значение, в изначальной таблице null

Andrey-Tatarnikov Автор вопроса
Andrey Tatarnikov
40Гб данных и столько же индексов

Ну так это немного, при нормальном "железе". Вам должно быть виднее, сколько там ресурсов и сколько это примерно займёт.

Andrey Tatarnikov
Нет гарантии, что где у целевого Pk есть обновлённ...

что? вам надо обновить всё. идёте вдоль индекса по всей таблице. потом обновляете то, что навставляли/наизменяли другие сессии. кстати, какой конечный результат требуется?

Andrey-Tatarnikov Автор вопроса
Виктор Егоров
что? вам надо обновить всё. идёте вдоль индекса по...

Я, видимо, не до конца понял про is null. В целевой таблице значение есть у ~70М строк. В патче - 50М. Для части строк целевой таблице в патче изменения существующего значения, для части сейчас null, но значение есть в патче

Andrey Tatarnikov
Я, видимо, не до конца понял про is null. В целево...

я не понимаю, что значит “патч”. также непонятен конечный результат: изменить все записи таблицы, проставив колонке "date" какое-то значение ( плохой выбор названия у колонки )?

Andrey-Tatarnikov Автор вопроса
Виктор Егоров
я не понимаю, что значит “патч”. также непонятен ...

Есть таблица, у нее есть поле с типом date. В нем есть значения у 70М из 150М строк. Есть файлик, в котором для 50М строк лежат новые значения этого поля. Файлик через copy закинут во временную таблицу. Нужно обновить значения в поле в целевой значениями из файлика. В файлике, и соответственно во временной таблице, куда его закгрузило, для каждого значения рядом указано значение Pk строки целевой таблицы

Andrey Tatarnikov
Есть таблица, у нее есть поле с типом date. В нем ...

кажется что без скрипта тут не обойтись в котором бачами апдейтить.

Andrey Tatarnikov
Есть таблица, у нее есть поле с типом date. В нем ...

Ну я б бежал и апдейтил или по одному ночью или батчами по 100.(1000,10000 ) Опытным путем Хотя м.б долго Надо смотреть скорость и насколько критично чтобы все было закончено скажем за ночь

Похожие вопросы

Обсуждают сегодня

Коллеги, я тут для личных нужд пошел ставить MQTT сервер, пощупал mosquitto, но ужаснулся отсутствию такой банальности, как HTTP API для посмотреть список топиков. А тут что,...
Maksim Lapshin
13
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
#include <stdio.h> #include <stdlib.h> #include <time.h> void mass_first_generate(int mass[5][7]) {     for (int N = 0; N < 5; N++) {         for (int A = 0; A < 7; A++) {   ...
Чувак
6
Всем привет! Решаю 99 OCaml Problems и столкнулся со следующей проблемой (прошу палками не забивать, я OCaml практически не трогал до этого момента): open OUnit2 let create_...
К|/|pи/\/\ 6е3yглbIи
2
https://www.linkedin.com/posts/ugama-benedicta-kelechi-codergirl-103041300_mobiledevelopment-fluttertraining-handsonlearning-activity-7263445699227254784-IdHB?utm_source=share...
CoderGirl
16
Ну вот просто даже давайте вот как. Какой нибудь конкретный кейс, можете в пример привести, где бч работает и приносит прикладную пользу, а не просто что бы было? Не крипту.
Alexander Andreev
22
возможно ли как-то передать в электрон или таури медиа поток с рендера 2д движка? двиг запускается как dll, а дальше надо как-то отправлять рендер кодировать не подходит, зр...
Kyle Nekto
7
Точно, оно. У тебя там имена потоков выставляются?
Александр (Rouse_) Багель
11
Помогите пожалуйста. Делаю систему плагинов. Проблема сейчас в такая: плагины загружаются в основном потоке. FLibHandle := SafeLoadLibrary(FFileName) Но нужно еще выполнить фу...
Илья 🤣
10
объясните пожалуйста, почему функция не работает должным образом? вроде должно брать активное окно сравнивать его размер с размером экрана, и если есть совпадение = true прове...
JF
12
Карта сайта