Vмне тут задали вопрос: подходит ли postgresql для логгирования чатов?

Question

Vмне тут задали вопрос: подходит ли postgresql для логгирования чатов?

конечная цель, аналитика(количество сообщений от юзера, корреляция. тп ), нужны интервалы по времени. Формат json(но могу конвертировать на лету в рел схему )
По моим примерным посчетам будет где-то 1000-2000 insertov в секунду

#backend #devops #pgsql #programming #russian

0

28.04.2021

12 ответов

21 просмотр

Kino Recovery Автор вопроса

𒀭
Скайп когда-то же на Постгресе как-то крутился...

нууу, ясно, что гвозди можно забивать микроскопом и прикуривать сигареты от автогена, меня интересует насколько целесообразно использовать postgres как хранилище и предподготовки данных для аналитики в этом кейсе. Я чую, что писать модуль логгинга и скрипты и вьюхи для аналитики буду я, и я не хочу себя прокленать за выбор postgres

0

28.04.2021

Alexey Jericho

возможно тут и какая нибудь графовая nosql лучше подойдет

0

28.04.2021

Ilya Anfimov

Вполне реально, но вопросов надо будет решыть довольно много. Например, нюансы с тем, что ACID предпочитает выкинуть транзакцыю, чем сделать что-нибудь не то. Например, с тем, что транзакцыи здесь не совсем бесплатны, а например производительность их в один поток исполнения -- либо плохая либо отвратительная. Например, с тем, что real-time capabilities у большынства RDBMS так себе, и у postgres с его вакуумом они хужэ среднего. В общем, почему бы не взять например elastic с его logstash? Как-то много людей долго пилили это именно в нужном вам направлении.

0

29.04.2021

Alexey Lebedev

Я бы посмотрел в сторону clickhouse или tarantul. Хотя сколько у нас было аналитики. Мы перешли на стороннюю. И теперь не жалко все логиррвать

0

29.04.2021

Sergey Gr

IMHO 1000-2000 tps любой одноядерный postgres потянет. А вот с аналитикой сложнее. В postgres мало фокусов помогающих сделать full table scan быстрее чем чтение с диска и большой overhead на короткие строки. НО если вы хотите упороться с нестандартными вариантами Postgres - Citus/Swarm64/TimescaleDB то возможно вы лучше осознаете свои задачи и найдёте приемлемый способ.

0

29.04.2021

Ilya Anfimov

Sergey Gr
IMHO 1000-2000 tps любой одноядерный postgres потя...

В один поток на обычном HDD -- очевидно, нет. Поскольку каждый commit -- это fsync хотя бы WAL, а это -- ответ от HDD о записи, а это -- оборот диска, у нас теоретический максимум 120tps на диске 7200...

0

29.04.2021

Ilya Anfimov

Sergey Gr
IMHO 1000-2000 tps любой одноядерный postgres потя...

Впрочем, на самом деле, ему 2000tps тут и не упёрлись. Необязательно жэ каждую строчку в полноцэнную транзакцыю оборачивать.

0

29.04.2021

Sergey Gr

Ilya Anfimov
Впрочем, на самом деле, ему 2000tps тут и не упёрл...

Всё так.

0

29.04.2021