Привет, сообщество. Есть у нас огромная (порядка 1ккк документов) БД

Question

Привет, сообщество. Есть у нас огромная (порядка 1ккк документов) БД

на MongoDB (так сложилось исторически). Вот вырос проект, и для маркетинга надо получить множество агрегированных данных, которые Mongo считает часами/днями. Возникла идея перелить данные в ClickHouse и, наконец, счастливо получать эти цифры в кратчайшие сроки.
Возникла задача перелить эти самые данные в ClickHouse. С дуру решил, что в доке всё есть и решил подключить MongoDB через ODBC и простым INSERT … SELECT заполнить таблицу данными.

Как понимаете, меня ожидал провал. Через iusql БД запрашивается, а клик этого сделать не может.

Собсна, вопрос:
- может есть инфа на тему безболезненной переливки данных юбез посредника в виде скрипта на какой-нить джаве?
- А может я изначально пошёл не туда?
- Вполне вероятно есть огромные грабли, на которые опытные люди уже ступали и знают, а я такой не опытный вступил

#backend #clickhouse #database #devops #programming #russian

0

10.02.2020

2 ответов

34 просмотра

Яўген Автор вопроса

И да, я уже пытаюсь несколько дней получить данные монги из CH. Сейчас стал получать ошибку “DB::Exception: ODBC connection string parameter doesn't have value”

0

10.02.2020

Denny [Altinity] · Accepted Answer

Denny [Altinity]

проще и эффективнее формировать текстовые файлы TSV (CSV), выливая из монги и через | awk|sed| clickhouse-client -q 'insert into ... залить в КХ, odbc слишком медленный и идиотский протокол

0

10.02.2020

184 похожих чатов

Привет, сообщество. Есть у нас огромная (порядка 1ккк документов) БД

2 ответов

Похожие вопросы