отправке данных в виде партов в ClickHouse при больших нагрузках. Никак не могу победить эту проблему. Примерно 30% - это 500-ые ошибки со стороны ClickHouse.
Какие параметры подкручивать?
<Error> DynamicQueryHandler: Code: 252. DB::Exception: Too many parts (3505 with average size of 523.12 KiB) in table 'sentry.transactions_local (baa990c9-2fbb-41c5-89ee-a0e4b4500b96)'. Merges are processing significantly slower than inserts: Insertion status
ПРивет! Попробуй крутить размер батча при вставке в клик
А у какого сервиса? У снуба или сентри? Для всех сервисов снубы я выставил этот батч для инсерта в 10 мегабай и вроде получил результат по логам, но радовался не долго))
snuba крутите сударь) крутите
Благодарю! Направление есть!
ты правда версию не сказал, но скорее всего подойдет ручка HTTP_WRITER_BUFFER_SIZE
пока что у нас 24.4.2
Стикер
в общем, проверю эту версию. надеюсь поможет
Обсуждают сегодня