Проблема: Не записывается часть кликов В сервис летят клики Используем async_insert На входе в

Question

Проблема: Не записывается часть кликов В сервис летят клики Используем async_insert На входе в

сервис и графиках количество кликов правильное
Специально даже паралельно сохраняю в postgres клики и туда все долетает
Запрос в логи показывает тоже правильные цифры, что все клики прилетели
SELECT count(*)
FROM system.query_log
WHERE type = 'QueryFinish'
AND query_kind = 'Insert'
AND tables = ['clicks']
AND query_start_time > '2022-07-13 09:00:00';

Но в таблице часть кликов не доехала

Подскажите можно ли в где то посмотреть логи вставок в таблицу?
Может в чем то другом дело?

#backend #clickhouse #database #devops #programming #russian

0

13.07.2022

13 ответов

32 просмотра

Vitaly Автор вопроса

Denny [Altinity]
есть такая штука как дедупликация вставки https:/...

Спасибо, но нашел проблему, спец символ попадал в строку (Code: 62. DB::Exception: Cannot parse expression of type LowCardinality(String) here: 'd'Azur') Но все равно вопрос, как смотреть такие логи для асинхронных вставок? Поменял в приложении запись построчно без async и эта ошибка записалась в system.query_log А вот при async_insert, не могу найти где такие ошибки пишутся

0

13.07.2022

Denny [Altinity]

Vitaly
Спасибо, но нашел проблему, спец символ попадал в ...

так не должен такой инсерт проходить даже асинхронный или у вас fire and forget ?

0

13.07.2022

Denny [Altinity]

Vitaly
Спасибо, но нашел проблему, спец символ попадал в ...

system.asynchronous_inserts ?

0

13.07.2022

Vitaly Автор вопроса

Denny [Altinity]
так не должен такой инсерт проходить даже асинхрон...

fire and forget нет Я про то что хочу видеть логи ошибок при асинхронной вставке

0

13.07.2022

Vitaly Автор вопроса

Denny [Altinity]
system.asynchronous_inserts ?

Там пусто, но наверное как то можно включить логи туда?

0

13.07.2022

Denny [Altinity]

Vitaly
fire and forget нет Я про то что хочу видеть лог...

не воспроизводится echo "insert into insert_test values (1, 'aaa'a')"|curl 'http://localhost:8123?async_insert=1' --data-binary @- Code: 62. DB::Exception: Cannot parse expression of type LowCardinality(String) here: 'aaa'a') : While executing WaitForAsyncInsert. (SYNTAX_ERROR) (version 22.7.1.1054) echo "insert into insert_test values (1, 'aaa'a')"|curl 'http://localhost:8123?async_insert=1&wait_for_async_insert=0' --data-binary @-

0

13.07.2022

Vitaly Автор вопроса

Denny [Altinity]
не воспроизводится echo "insert into insert_test ...

Удивительно, у меня все также не выдается Я пробую CREATE TABLE IF NOT EXISTS tests ( id String, value LowCardinality(String), sign Int8, version UInt64 ) ENGINE = VersionedCollapsingMergeTree(sign, version) ORDER BY (id); echo "insert into tests values ('id1', 'aaa'a', 1, 443443)"|curl 'http://localhost:8123?async_insert=1&wait_for_async_insert=0' --data-binary @-

0

13.07.2022

Denny [Altinity]

Vitaly
Удивительно, у меня все также не выдается Я пробу...

wait_for_async_insert=0 --- ?

0

13.07.2022

Vitaly Автор вопроса

Denny [Altinity]
wait_for_async_insert=0 --- ?

Да, но сейчас пробую на самой свежей версии Была 22.3

0

13.07.2022