хватает памяти (время выполнения не важно)? как то ограничить память? использовать dask и тд?
https://clickhouse.com/docs/en/operations/settings/query-complexity#settings-max_bytes_before_external_group_by это жестко будет конечно SETTINGS max_bytes_before_external_sort=1073741824, max_bytes_before_external_group_by=1073741824; https://clickhouse.com/docs/en/sql-reference/statements/select#implementation-details сколько у вас строк в таблице из которой выбираете? сколько физически памяти на сервере?
стандартный девелоп серв на 16гб. строк 1млрд
спасибо, правда пока не понял как это приконнектить к кликхаус чтобы спарк получил описание таблицы и начал операции
Обсуждают сегодня