минимизировать хранение, то можно посмотреть на тот же Clickhouse, там много вариантов настроить сжатие эффективным способом. Но если подойдут прочие его ограничения.
Но 40 Gb - это мало, конечно.
я думаю что писаться будет со скоростью 10к ячеек в секунду минимум, если железо выдержит. а по поводу поиска: на постоянку нужна только проверка уникальности, что я и имел ввиду под поиском(скорее всего не совсем был прав). про кликхаус тоже думал в первую очередь, но не совсем понятно насколько он хорошо работает с добавлением значений в уже существующую строку
Если это не update, а переписывание - то нормально. Если нужно именно обновить часть данных, то тоже есть инструменты.
запись может быть только в ячейку, в которой null, например было 010,111,null,101 стало: 010,111,110,101
Возьмите тот же Постгрес, если транзакции не нужны - отключите журналирование таблицы, писать и обновлять будет моментом. 10к записей в сек вытянет на нормальном железе.
Ну, можно писать пачками, тогда тоже будет быстро. 10 rps - это не проблема сейчас
Обсуждают сегодня