Всем привет. У меня бд куда постоянно поступают данные. В

Question

Всем привет. У меня бд куда постоянно поступают данные. В

секунду по 100-300 строк. Эти данные селектом построчно я вытягиваю в своё java приложение, где они онлайн обрабатываются. То есть селект запрос забирает каждую новую строку у меня в бесконечном цикле while (true) . И вот я, как человек внимательный, спустя полгода 🙈🙈🙈🙈 заметил, что это нехитрое действие жрёт львиную долю моего ЦП. Вопрос: всё ли я делаю правильно для забора новых строк из бд? Может как-то поэлегантнее есть решение?

#backend #devops #pgsql #programming #russian

0

18.10.2023

19 ответов

7 просмотров

Alexander Shelemin

ЦПУ жрется на стороне джавы же? Понятно, что tight loop будет выжирать цпу. Поэлегантней - можно подписаться на изменения в бд, можно забирать данные раз в секунду (в зависимости от бизнес-требований) и тд

0

18.10.2023

Петр Автор вопроса

Я не понял сути...ради чего такой запрос? Что он улучшает по сравнению просто селект?

0

18.10.2023

Петр Автор вопроса

Alexander Shelemin
ЦПУ жрется на стороне джавы же? Понятно, что tight...

Подписаться на изменения - что это такое? Может то, что мне надо

0

18.10.2023

Nikolay Underground

Петр
Подписаться на изменения - что это такое? Может то...

Cdc, debezium

0

18.10.2023

Роман Жарков

Петр
Я не понял сути...ради чего такой запрос? Что он у...

Циклы пустые не крутит.

0

18.10.2023

Eugene G

Есть Debezium, который стримит изменения

0

18.10.2023

Петр Автор вопроса

Роман Жарков
Циклы пустые не крутит.

Понял. Буду читать

0

18.10.2023

Петр Автор вопроса

Nikolay Underground
Cdc, debezium

Спасибо

0

18.10.2023

Петр Автор вопроса

Eugene G
Есть Debezium, который стримит изменения

Спасибо.буду гуглить. Этот дебезиум может в джаву отдавать?

0

18.10.2023

Sergey Bezrukov

Петр
Подписаться на изменения - что это такое? Может то...

https://jdbc.postgresql.org/documentation/server-prepare/#listen--notify

0

18.10.2023

Eugene G

Петр
Спасибо.буду гуглить. Этот дебезиум может в джаву ...

Отдает в очередь, в кафку например. Наверное можно как-то напрямую подписаться на Write ahead log. Рекомендую это тоже погуглить

0

18.10.2023

Ilya Anfimov

Возможно, если вам нужна очередь сообщений — то лучшэ будет взять какую-нибудь реализацыю очереди сообщений и message broker. Кафку там, например. Или rabbitmq, не знаю.

0

18.10.2023

Петр Автор вопроса

Ilya Anfimov
Возможно, если вам нужна очередь сообщений — то лу...

А к джаве как прикрутить? Это реально?

0

19.10.2023

Vladimir Avramov

Коннекшн пул используете?

0

19.10.2023

Ilya Anfimov