делает действие определенное, и на него создает 1 млн заданий для воркеров по граббингу содержимого ссылок, например
Дальше воркеры получают данные, записывают их в бд, и меняют статус своего задания на выполненный
Скорость появления таких "1 млн заданий" быстрая, обычно там будет от 10000 до 100000 таких микрозаданий
Задания необходимо хранить только до момента выполнения всех "поручений", а потом можно все убирать связанное с ним
Вопрос: какую базу данных выбрать для создания больших куч по 1 млн заданий и ее редактирования?
На уме только кликхаус с его replacemergetree и хранением версий строк и какие-нибудь im-memory решения
Подскажите, пожалуйста, ключевое слово, а дальше я сам =)
Ещё можно на TimescaleDB посмотреть
Обсуждают сегодня