работы селекта так чтобы он не прекращал выполнение а просто сгружал результат вна диск? max_memory_usage рубит запрос
Нашел решение 'set max_block_size = 1048576, max_partitions_per_insert_block = 0, max_memory_usage = 30000000000, max_threads=32, max_insert_threads=16' При таких параметрах могу пересчитывать по 10 дней и объек оперативки не превышает лимит. рассчитывается около 500 млн в рамках декартво перемножение таблицы на таблица. Так же опытным путем выявил (хотя гже то это слышал на видео), хранить бехз лишенй агрегации. Складываю результаты перемножения как есть, тем самы получаю сжатие 1:5. 2 миллиарда строк занмают на диске 9 гигов а разжатые более 45. Количество столбцов 5.
Обсуждают сегодня