быть данные стянуть оттуда как есть и агрегацию выполнить у себя? Можно в duckdb подключить postgres_scanner и выполнить всё в нём.
Ну чтобы стянуть к себе, все равно ведь придется запросом их достать от туда? А это проблемно очень
Ну простой селект без агрегатов потребует от базы не очень много ресурсов, а у duckdb к тому же вроде сканнер достаточно умненький https://duckdb.org/2022/09/30/postgres-scanner
У меня просто просто прочитать все тоже проблемно Чтобы взять все данные , за последние два года, там более 100 миллионов строк Сколько всего хз - так ккк остановился в последний раз на ожидании 100 миллионов строк после 1.5 часа ожиданий)
Обсуждают сегодня