Привет, как определить, когда еще можно улучшить запросы, а когда

Question

Привет, как определить, когда еще можно улучшить запросы, а когда

стоит улучшать железо?
есть таблица, которая сейчас занимает 30 миллионов строк и растет на ~10 миллионов в сутки на сервере с 4 ядрами и 8 гб оперативки и банальный count там выполняется 3 секунды
primary key - uuidv4
это нормальная производительность или что то можно затюнить?

#backend #devops #pgsql #programming #russian

0

02.02.2022

18 ответов

22 просмотра

Alexey Bulgakov

central hardware
count невозможно ускорить, так как требует полный ...

его и не нужно считать

0

02.02.2022

Alexey Bulgakov

биллинг свой делаете?

0

02.02.2022

Fᴏʀᴅᴇɴ Автор вопроса

Alexey Bulgakov
биллинг свой делаете?

нет, реакции пользователей собираем грубо говоря лайки

0

02.02.2022

Alexey Bulgakov

Fᴏʀᴅᴇɴ
нет, реакции пользователей собираем грубо говоря л...

секционирование?

0

02.02.2022

Fᴏʀᴅᴇɴ Автор вопроса

Alexey Bulgakov
секционирование?

еще не пробовали это то что нужно для больших таблиц?

0

02.02.2022

last seen recently 🇹🇼

Alexey Bulgakov
секционирование?

И как ему поможет партиционирование в подсчёте всех?

0

02.02.2022

Alexey Bulgakov

last seen recently 🇹🇼
И как ему поможет партиционирование в подсчёте все...

Зачем всех?

0

02.02.2022

Alex Ilizarov

Fᴏʀᴅᴇɴ
нет, реакции пользователей собираем грубо говоря л...

У вас count с условиями? Или на всю таблицу? Почему не кешируете?

0

02.02.2022

Ilya Anfimov

Нормальная производительность или нет — зависит в первую очередь от бизнес-требований. Если та, что есть всех устраивает — то нормальная. Если на этом вы теряете клиентов или деньги — то, возможно, надо её улучшыть. Возможно и нет, если улучшать ещё дорожэ.

0

02.02.2022

Ilya Anfimov

central hardware
count невозможно ускорить, так как требует полный ...

Возможно. Есть сэмплинг, есть другие оцэнки, есть предварительные подсчёты.

0

02.02.2022

Ilya Anfimov

Fᴏʀᴅᴇɴ
нет, реакции пользователей собираем грубо говоря л...

Количество лайков лучшэ просто хранить.

0

02.02.2022

Fᴏʀᴅᴇɴ Автор вопроса

Ilya Anfimov
Количество лайков лучшэ просто хранить.

если бы такое было возможно - просто хранили бы а так они влияют на дальнейшее поведение сервиса для пользователя

0

02.02.2022

Ilya Anfimov

Fᴏʀᴅᴇɴ
если бы такое было возможно - просто хранили бы а ...

ЯННП. (И да, неоднозначно выразился. Просто — в смысле хранить количество рядом с записью, а не в смысле — хранить только количество, а не клики).

0

02.02.2022

Ilya Anfimov

Alexey Bulgakov
секционирование?

При росте 10млн в сутки — давно пора, скоро прямо-таки в лимиты таблиц стукаться будет.

0

02.02.2022

Alexey Bulgakov

Ilya Anfimov
При росте 10млн в сутки — давно пора, скоро прямо-...

Большинство с моим предложением не согласны 🙂

0

02.02.2022

Ilya Anfimov

Alexey Bulgakov
Большинство с моим предложением не согласны 🙂

И вробще, тот слуяай, когда можно попробовать citus. Довольно разрозненные данные, но их очень много.

0

02.02.2022

Ilya Anfimov

Далее — всегда полезно самому чётко определить, что система делает при запросе. И что ты в идеале хотел бы, чтобы она делала. И чем одно от другого отоичается. Если всё и так по минимуму — то вздохнуть и забить. Если действия близки к идеальным, но затраты postgres на них велики — то подумать, что его задержывает, почитать код. Если действия неблизки к идеальным — то оптимизировать запросы, чтобы работал как хочется.

0

02.02.2022

central hardware · Accepted Answer

central hardware

count невозможно ускорить, так как требует полный скан таблицы

0

02.02.2022

172 похожих чатов

Привет, как определить, когда еще можно улучшить запросы, а когда

18 ответов

Похожие вопросы