на 50 ГБ в сутки. Читать тоже планируется много, в основном не очень большими блоками с выборкой по времени.
Подскажите, чем можно разбить таблицу одновременно и на секции (автоматически, по времени), и на шарды (между серверами, по какому-нибудь group_id например)? Или лучше как-то иначе обращаться с такими данными?
Думал про timescaledb + citus, но толком не нашел информации, могут ли они работать вместе.
Timescale db сами недавно запилили шардинг, правда скорее всего он доступен в платной версии. Можете поискать у них в блоге инфу
Я бы посмотрел в сторону greenplum
По поводу timescaledb и citus - сделайте небольшой тестовый кластер, достаточно даже на одном сервере, один сервер координатор и два шарда. На все поставьте и включите расширения timescaledb и citus. На координаторе создайте тестовую hypertable и потом поробуйте ее шардировать citus. Думаю это даст ответ на вопрос. Покидать туда данные и посмотреть что будет. По идее если работают, то у вас данные в зависимости от признака должны разделиться на ваши ноды и там быть разделены на шарды, каждый из которых будет hypertable
Обсуждают сегодня