Коллеги, приветствую! Стоит задача записывать и работать с очень большим

Question

Коллеги, приветствую! Стоит задача записывать и работать с очень большим

(сотни гигабайт raw) тесно переплетенных данных - multiarrays of multiarrays, структуры массивов заранее неизвестны и ничем не ограничены. В качестве примера можно использовать такую абстракцию - - 1. таблица: колонки - условия (например языки), строки переменные при этих условиях (термин, и его переводы), в следующей таблице уже эти термины могут стать заглавиями колонок или ключевиками для строк. И так до бесконечности. Хочется во первых сами переменные (также как и название строк и столбцов хранить где-то во внешнем словаре на каком-нибудь rocksdb, а в мультидименшен массивах оперировать idшниками как в ClickHouse. Сейчас присматриваюсь к https://tiledb.com , но пока его победить не удается, может не докопал, конечно еще, например, для каждого массива приходится указывать схему, типы данных, атрибуты, размерность заранее, а у нас массивов много и они будут появляться непредсказуемо, ну и функциональности внешних словарей не хватает, не только в данных, но и в схемах. Как я вижу идеальный вариант - tiledb еще одно хранилище для ClickHouse и еще и с внешними словарями и еще не только для данных, но и для схем. Если я правильно понимаю, потенциально это дало бы огромный скачок в развитии (очень сильный рост производительности, снижение накладных расходов, а самое главное упростилась бы работа с данными сильно) Возможно ли организовать подобное на Clickhouse и если да то как? Если нет, может знаете, как проблему можно эффективно решить?

#backend #clickhouse #database #devops #programming #russian

0

23.09.2021