172 похожих чатов

Здравствуйте, вопрос возник не совсем сюда. По выбору БД Сценарий такой: приложение

делает действие определенное, и на него создает 1 млн заданий для воркеров по граббингу содержимого ссылок, например
Дальше воркеры получают данные, записывают их в бд, и меняют статус своего задания на выполненный

Скорость появления таких "1 млн заданий" быстрая, обычно там будет от 10000 до 100000 таких микрозаданий

Задания необходимо хранить только до момента выполнения всех "поручений", а потом можно все убирать связанное с ним

Вопрос: какую базу данных выбрать для создания больших куч по 1 млн заданий и ее редактирования?

На уме только кликхаус с его replacemergetree и хранением версий строк и какие-нибудь im-memory решения

Подскажите, пожалуйста, ключевое слово, а дальше я сам =)

1 ответов

12 просмотров

Ещё можно на TimescaleDB посмотреть

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта