которой хранятся файлы запросов/ответов из разных бюро в разных форматах (xml/json..), с фиг знает какой структорой в общем, порядок файлов там ~10 миллионов
надо аналитикам дать возможность самим брать от туда какие либо филды, чтоб они могли их использовать/аггрегировать и делать свои модели
я думаю попробовать перелить все в clickhouse(он у нас есть), в raw формате c json/xml размапленым в плоские key /value массивы, чтоб потом используя это таблицы и эти k/v массивы аналитики могли делать свои какие им нужно mat view и аггрегации
будет ли это работать, или мб кто решал такую задачу, и посоветует, как сделать лучше?
Будет, только запросы неудобно писать
Обсуждают сегодня