Всем привет! Очень хочется получить совет от гуру postgresql. Сейчас выбираю СУБД

Question

Всем привет! Очень хочется получить совет от гуру postgresql. Сейчас выбираю СУБД

для следующего кейса: приток данных 60-100 миллионов записей в день, хранить данные нужно в идеале полгода. Вставка батчами + будут апдейты в течении дня.
Выборка данных должна делаться с фильтрацией по дате + ещё примерно 10 полям.
Всё это дело должно отображаться в веб-интерфейсе с пагинацией, поэтому хочется, чтобы запросы вида
select * from big_table where (...) limit 30;
выполнялись не сильно больше 1-3 секунд.

Насколько для этой задачи подходит постгрес? Ещё смотрю в сторону кликхауса, но там свои проблемы.

#backend #devops #pgsql #programming #russian

0

05.04.2018

7 ответов

32 просмотра

Oleg

Может на elasticsearch посмотреть?

0

05.04.2018

Ilya Zviagin

Ну и полгода по 100 в день это будет 20 млрд записей, PG тут уже не потянет. Что-то из Column store надо...

0

05.04.2018

Konstantin Knizhnik

Попробуйте Постгрес с моим расширением VOPS - это в какой-то мере альтернатива клик хаузу при обеспечении обычной для РСУБД транзакционности и всего спектра административных утилит. Апдейты вот только VOPS не поддерживает, строго append only. Но если Вам интересно, то можем вместе подумать как эту проблему решить. В качестве альтернативы можете попробовать самостоятельно аггрегировать данные используя массивы или жсон. Платон (не философ) справился с большим объёмом данных группируя несколько точек маршрута в одну запись, запихивая их в json.

0

05.04.2018

Maksim Milyutin

Postgres + (pathman или timescaledb)

0

05.04.2018

Yaroslav Schekin

А зачем вам именно реляционная СУБД?

0

05.04.2018

Vladislav 👻 Shishkov

пилите хранилище по слоям, разбивайте слои на разные базы