170 похожих чатов

Всем привет! Подскажите пожалуйста по архитектурному решению Дано: Необходимо записывать большое кол-во событий

(от 10к до 50к rps) в базу данных таким образом, чтобы минимально нагружать основную бд (mysql)

Для реализации этого использую redis как intermediate storage - то есть, сначала события записываются в redis (инкрементируются), а потом, по таймеру/событию - выгребаются из redis-а и записываются в бд, после чего удаляю значения из redis-а.
Функционал разделен на два сервиса: 1 - слушает события и записывает в redis, 2 - раз в n-ое время запускается, читает данные из redis-а, записывает в mysql и удаляет ключи из redis-а

Проблемы (я вижу, их, возможно, больше):
1) В момент записи в бд и удаления ключей из redis-а придет еще множество событий, которые, в конечном итоге, не будут записаны в mysql. Как можно избежать этой ситуации, или так или иначе какое-то количество событий будет потеряно?
2) worker, который раз в n-ое количество времени будет постоянно “крутиться” в контейнер, но полноценно что-то делать будет по таймеру - может, стоит как-то изменить подход, чтобы обойтись без лишнего использования ресурсов?

Заранаее благодарю!

9 ответов

16 просмотров

А не вариант вместо Redis использовать Кафку?

Vadim-Sokoltsov Автор вопроса
Dmitriy Sviridov
А не вариант вместо Redis использовать Кафку?

вариант Процесс будет такой же, верно? Один сервис - записывает Второй - раз, в какое-то время читает, записывает в основную бд и помечает сообщения в kafka как прочитанные

Vadim Sokoltsov
вариант Процесс будет такой же, верно? Один сервис...

Плюс тут в том, что сообщения из Kafka не удаляются - то есть вы их точно не потеряете. Если припрёт обработать ещё раз (например, если что-то пошло не так), то это тоже можно.

Возьмите tarantool и оберните синз данных с мускулем через транщакцию. Плюсом получите масштабирование почти из коробки

Vadim-Sokoltsov Автор вопроса
Igor Kuznetsov
Возьмите tarantool и оберните синз данных с мускул...

хм, звучит интересно, спасибо большое! Не подскажате, где можно подробнее про это почитать/найти примеры?

Vadim Sokoltsov
хм, звучит интересно, спасибо большое! Не подскаж...

Можно на хабре почитать или в группе @tarantool

> чтобы минимально нагружать основную бд Что такое "основная бд"?

Vadim Sokoltsov
В данном случае - mysql

я не про технологию. Почему вы называете её основной? Основная по отношению к чему?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта