Вопрос про реализацию лайков. Есть правильная кастомная хранилка key=set<uint64>, где key

Question

Вопрос про реализацию лайков. Есть правильная кастомная хранилка key=set<uint64>, где key

- идентификатор лайкаемого обьекта, uint64 = userid. Хранилка быстро возвращает len(set), даже если внутри миллиард интов и мы быстро видим число лайков у обьекта. Быстро - это b-tree, максимум 1 поход на диск. Медленнее, чем hyperloglog, но ведь нельзя лайенуть одно и то же дважды да и список лайкеров хочется запросить, так что хранить честный set лайкнувших - надо так или иначе.

Вопрос в том, как бы мне не делать 80 запросов в лайкохранилку при попытке показать страницу с 40 комментами. Ведь про каждый коммент надо спросить len(его set) и set.find(userid) дабы понимать лайкало это тело обьект или нет.

От set.find(uid) непонятно как избавиться - вещь нужная, а вот len(set) можно кешировать в uint32-поле (колонке "likes") самой сообщенечки. То есть, в коде "бизнес-логики", отправив запрос на добавление лайка в set, проапдейтить колонку likes новым значением len(set). Профит: число лайков лежит прямо в сообщеньке и показать 40 мессаг с лайками - скан рядом лежащих данных.

Проблема в нагрузке на update(message) при большом потоке лайков на него и в расссинхроне - когда сервис set-ов с лайками жив, а messages прилег на 5 минут. Ясно, что следующий лайк синхронизирует все как надо, но его может не быть. Хотя не банковские данные, потерять в счетчике лайков временно - не беда. Ну или можно такое правило: раз в N запросов ходить за len(set) - уточнять. Остался вопрос про прореживание - как делать update(message) не на каждый лайк, когда их валится стопицот тыщ. Хотя, этот update вроде не дорогой, да и даже самый популярный коммент на ютубе получает лайков порядка 5K, что не в одну секунду. Да и непонятно как прореживать - завести sizeclass как в аллокаторах? Ну типа до 100 лайков - апдейтить на каждый, до 1000 - на каждый 5-й и т.п.

в общем, прочьба поделиться мыслями про кеширование числа лайков внутри мессаги, про прореживание апдейтов и прочее.

#backend #devops #pgsql #programming #russian

0

15.06.2022

3 ответов

26 просмотров

Ilya Anfimov

Казалось бы, при чём здесь постгрес?

0

15.06.2022

Ilya Anfimov

Aleksandr Danilov 🇺🇦
Не очень понятно почему именно постгрес в данном с...

>Число лайков - если делать через постгрес - можно взять приблизительную оценку от автовакуума. По мне так лучшэ честно считать триггером.

0

15.06.2022

Aleksandr Danilov 🇺🇦 · Accepted Answer

Aleksandr Danilov 🇺🇦

Не очень понятно почему именно постгрес в данном случае. Он с некоторыми оговорками подойдёт, но кислота для лайков это что-то странное Число лайков - если делать через постгрес - можно взять приблизительную оценку от автовакуума.

0

15.06.2022

172 похожих чатов

Вопрос про реализацию лайков. Есть правильная кастомная хранилка key=set<uint64>, где key

3 ответов

Похожие вопросы