Дратуте! Есть где-то 100 млн строк. По ним надо посчитать

Question

Дратуте! Есть где-то 100 млн строк. По ним надо посчитать

формулу со всеми комбинациями параметров. Комбинаций может быть где-то 150 - 1000. Если делать cross join, то соответственно эти 100 млн умножаются еще на эти 150 - 1000 строк и эта история может перестать пролезать по памяти.

Какие есть варианты? Нужно переходить на операции с массивами? Один из вариков, который приходит на ум помимо массивов - это сгенерить sql, где будут перебираться все эти параметры

#backend #clickhouse #database #devops #programming #russian

0

24.02.2021