на MongoDB (так сложилось исторически). Вот вырос проект, и для маркетинга надо получить множество агрегированных данных, которые Mongo считает часами/днями. Возникла идея перелить данные в ClickHouse и, наконец, счастливо получать эти цифры в кратчайшие сроки.
Возникла задача перелить эти самые данные в ClickHouse. С дуру решил, что в доке всё есть и решил подключить MongoDB через ODBC и простым INSERT … SELECT заполнить таблицу данными.
Как понимаете, меня ожидал провал. Через iusql БД запрашивается, а клик этого сделать не может.
Собсна, вопрос:
- может есть инфа на тему безболезненной переливки данных юбез посредника в виде скрипта на какой-нить джаве?
- А может я изначально пошёл не туда?
- Вполне вероятно есть огромные грабли, на которые опытные люди уже ступали и знают, а я такой не опытный вступил
И да, я уже пытаюсь несколько дней получить данные монги из CH. Сейчас стал получать ошибку “DB::Exception: ODBC connection string parameter doesn't have value”
проще и эффективнее формировать текстовые файлы TSV (CSV), выливая из монги и через | awk|sed| clickhouse-client -q 'insert into ... залить в КХ, odbc слишком медленный и идиотский протокол
Обсуждают сегодня