@Milovidov_an не планируется что-то типа такого функционала добавлять? Ситуация: есть много

Question

@Milovidov_an не планируется что-то типа такого функционала добавлять? Ситуация: есть много

файлов с данными, которые превышают max_insert_block_size и соответственно CH бьет это дело на разные блоки в соответствии с этой настройкой. И вот у меня данных на 3 блока, один блок вставился на в середине второго блока нашлась ошибка в данных и запрос упал. В CH осталась первый блок данных, но мне нужно: либо записалось все, либо ничего. Как такого можно достичь? Кто-то сталкивался с подобной потребностью?

#backend #clickhouse #database #devops #programming #russian

0

24.08.2018

2 ответов

7 просмотров

Imaskar

А может вам через Buffer таблицу вставлять по одному файлу? Buffer внутри успешные вставки объединит.

0

25.08.2018

Alexey Milovidov · Accepted Answer

Каждый раз держим возможность реализации этой функциональности "в уме", но ещё не запланировали и пока не собирались делать. По-сути, это - вставка данных в одной транзакции. Уже сейчас ClickHouse работает так, что вставляемые данные пишутся во временные куски, которые затем атомарно добавляются в рабочий набор. Можно было бы сделать такое для многих кусков. Но есть следующие мелкие сложности: 1. Надо сделать минимальную поддержку транзакций, чтобы атомарно переименовать более одной директории. То есть, писать лог в файл, fsync его, восстанавливаться при старте. Это небольшая проблема. 2. За один INSERT может добавиться много временных кусков. Потом они все сразу попадут в рабочий набор. Например, в рабочий набор в один момент попадает 1000 кусков - и сразу же возникает большая нагрузка из-за мержей, а следующие INSERT-ы отваливаются из-за Too many parts. А в худшем случае очень большого INSERT-а будет плохо файловой системе. Вывод - надо мержить вставляемые куски ещё до того, как завершён INSERT. 3. Есть связанная задача - выполнять несколько SELECT-ов из одного консистентного снэпшота. Например, сделать два запроса - для таблицы и для графика в отчёте - и чтобы они показывали одинаковые данные, когда данные постоянно обновляются. В ClickHouse внутри уже есть нужная функциональность - по сути, SELECT берёт снэпшот из таблицы, а потом из него читает. Обычный синтаксис BEGIN/COMMIT почти подходит для всего, что перечислено, но всё-таки не совсем. Если есть несколько запросов из разных таблиц, то мы хотим создать снепшот для всех на один момент времени. И ещё есть мелочь - надо создавать снепшот не для всей таблицы, а для той части (тех партиций), которые будем читать.

184 похожих чатов

@Milovidov_an не планируется что-то типа такого функционала добавлять? Ситуация: есть много

2 ответов

Похожие вопросы