факты. Изначально вопрос звучал так, что с некоторых пор клик начал ругаться на вставках данных от 50к до 150к за раз. Данные вставлялись в формате JSONEachRow, на что клик ругался:
Code: 117, e.displayText() = DB::Exception: Unknown field found while parsing JSONEachRow format: ...., e.what() = DB::Exception
То что битый JSON было исключено сразу т.к. разбивая пачку, допустим по 10к - все шло на ура. Здесь мне предложили использовать настройку "max_query_size" (хотя ранее такие объемы вставлялись и без нее), в большинстве случаев данная настройка помогла. Но одна пачка все никак не хотела вставляться (которая все также по 10к вставлялась нормально). Пробовал по разному и последнее ради интереса решил просто взять перемешать массив вставляемых JSON-строк перед вставкой и все сработало. Кто с таким сталкивался, может я вообще не в ту сторону копаю?
версия 18.14.1
https://github.com/yandex/ClickHouse/issues/3297
Обсуждают сегодня