184 похожих чатов

Привет. Можете подсказать? Есть бд постгрес, с различнвми тяжёлыми аналитическими запросоами,

типа группировок, аггрегаций, дистинктов, сортировок, кучей джоинов. В таблице постоянно что-то пишется, батчами по 50к строк. В таблице около 13 миллионов записей и постгрес не вывозит, когда поступает запрос на чтение в момент записи. Сделали репликацию на местер-слейв - не помогло.

Есть идеи, или уйти от джоинов в постгри и все лить в одну таблицу, или перейти на клик/elk. Но всё-равно непонятно - запись в клик будет идти постоянно (батчем). Что будет, если поступит запрос на чтение во время записи в клик?
просто если репликация бд на мастер-слейв не помогла - не уверен что поможет выбор другой бд...

3 ответов

12 просмотров

С этим проблем быть не должно, т.к. новые записи будут изначально записываться в отдельный новый файл и мерджиться (физически склеиваться с остальными) позже фоном. А вот куча джойнов почти наверняка станет проблемой - тут лучше смотреть в сторону широких таблиц или словарей.

Alexey Sokolov
С этим проблем быть не должно, т.к. новые записи б...

Не файл, а файлы. Каждый вновь вставленный набор строк - это минимум столько файлов, сколько колонок у таблицы.

Alexey Petrunyaka
Не файл, а файлы. Каждый вновь вставленный набор с...

А если парт wide?) Тащемта я старался сделать акцент на том, что блокировки в момент вставки не случится, и.к. она пройдёт в другие файлы.

Похожие вопросы

Обсуждают сегодня

Комрады, посоветуйте, куда копать? Стал прикручивать кастомизацию тем. В OnShow главной главной формы пытаюсь загрузить из файла настроек и применить тему (на скрине, как долж...
Ed Doc
13
OnShow один раз вызывается? или возможен Hide?
Iluha Companets
14
Такс, блин, таки кто-то знает, каким образом работают макросы stdin/stdout/stderr? Я влез в stdio.h, там определения нет, отладил через асмокод - вызывается функция со странны...
The Bird of Hermes
18
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Всем привет, на линуксе лучше на fasm или nasm учиться писать для начала ?
meszjol
14
Если у меня есть такой класс: Object = {} function Object:new(a_name, a_transform, a_color, a_mesh, a_material, a_shader, a_textures) local private = {} private.n...
Cuarno Vile
4
@sand_witch скорее к тебе вопрос, добавил в .cabal webdriver-w3c и вот такая ошибка от nix develop error: Package ‘script-monad-0.0.4’ in /nix/store/7vdxbra0kwbr0ys0kc5...
Fedor
5
А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
@MrMiscipitlick А можешь макрос написать, который будет вычислять смещение относительно переданных меток? Просто .label1-.label2, и вернуть значение.
КТ315
35
зачем же переименовывать ? чтобы кол-во участников возросло или вдруг IBM от этого снова на свифте начнет кодить ? Я не понимаю что страшного в том что свифт гавно, если это т...
Oleh Nerzh
10
Карта сайта