данных в CH, как наиболее эффективно заполнять поля для сконфигурированных классов таблиц ? Я формирую pandas DataFrame размером один батч с данными из имеющейся базы, заполняю где был null стандартными значениями, проверяю приведение и начинаю формировать объекты для каждой строки через .setattr(x, value). занимает это порядка 3с на 1000 объектов с 122 полями. Мб возможно оптимизировать работу через другие коннекторы ? Спасибо.
Я могу только заметить, что это действительно очень медленно. Но я сам не пользовался этим драйвером и не могу сказать, что тормозит - драйвер или Pandas.
Попробуйте наш нативный драйвер https://github.com/mymarilyn/clickhouse-driver Есть обёртка для sqlalchemy https://github.com/xzkostyan/clickhouse-sqlalchemy
Обсуждают сегодня