184 похожих чатов

Всем привет) Нужен совет по следующему вопросу. Есть сущности, у

которых 2 id, один внешний, другой внутренний. Сама сущность хранится в postgresql, в кликхаусе держим опредленные метрики для сущностей. В кликхаус данные поступают через кафку с внешним ID, а записать в таблицу нужно с внутренним. Сейчас использую в матвьюхе inner join с postgres таблицей через коннектор clickhouse. Есть так же идея, чтобы избежать join в mv подключить словарь с источником postgres. Но для того, чтобы не потерять метрики, необходимо будет выставить минимальный период обновления - 1с. Сущностей порядка 3-4кк. У меня нет уверенности, что подход со словарем будет лучше. Может кто немного помочь разобраться с этим вопросом? Какой подход будет более правильным, или вообще оба из этих подходов не жизнеспособны?

7 ответов

15 просмотров

в кафку положить нужные данные не вариант вообще?

Алексей- Автор вопроса
Artur Eshenbrener
в кафку положить нужные данные не вариант вообще?

Эх, если бы так легко было. Возможность есть, конечно, но из разряда нежелательно, за сбор статистики отвечает отдельный сервис, у которого как раз есть информация только о внешнем ID

Алексей 
Эх, если бы так легко было. Возможность есть, коне...

и почему он внутренний ID не может получить?

можно словарь layout(cache(...)) сделать https://clickhouse.com/docs/en/sql-reference/dictionaries#cache и source(postgresql(...)) пожирнее чтобы за раз больше элементов кешировал... если словарь небольшой то обновления будут подтягиваться с каждым cache miss но это будет работать только если соотношение внутренний id -> внешний ID не меняются со временем

Алексей- Автор вопроса
Slach [altinity]
и почему он внутренний ID не может получить?

Может, я пытаюсь найти более просто путь решения. Сервис крутится в кластере temporal, имеет полностью асинхронную модель взаимодействия, чтобы ему это сделать, ему нужно положить ивент в очередь, сервис, отвечающий за взаимодействие с другими сервисами должен обработать этот ивент и вернуть ему. За счет асинхронности время такого запроса недетерминировано, чего тоже хотелось бы избежать. Я, конечно, сейчас более детально прорабатываю этот вопрос, но попытки хотелось бы этого избежать.

Алексей- Автор вопроса
Slach [altinity]
можно словарь layout(cache(...)) сделать https://c...

Вот это звучит хорошо, спасибо большое)

Алексей- Автор вопроса

Вот сабж

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Карта сайта