Всем привет. У меня есть таблица на 63 колонки, но данные,

Question

Всем привет. У меня есть таблица на 63 колонки, но данные,

которыми наполняется эта таблица, достаточно разреженные (в одной записи может быть 20-30 полей)
Сейчас мы инсертим json’ами, но мощностей не хватает немного.Впорос: если инсертить tsv, много ли производительности можно выиграть?Стоит ли игра свеч?
Инсертим блоками по 10к записей.

#backend #clickhouse #database #devops #programming #russian

0

05.12.2020

5 ответов

6 просмотров

Denny [Altinity]

от двух раз в части парсинга. Вы попробуйте сделайте тестовую таблицу с точно такой же структурой, и выгрузите из основновной миллион в формате json и в формате tsv и вставьте в тестовую

0

05.12.2020

A P Автор вопроса

【D】【J】
Да. Но если у вас изначально данные в json то нужн...

в целом у меня есть возможность управлять форматом изначальных данных Они сначала из кафки читаются питоном, который конвертирует их в словари, а потом одной пачкой заталкивает по http

0

05.12.2020

【D】【J】

A P
в целом у меня есть возможность управлять форматом...

Раз так и так конвертируете, делайте тсв, потом траблшутить проще

0

05.12.2020

【D】【J】

A P
в целом у меня есть возможность управлять форматом...

Еще авро есть ща, тоже должен быть ок

0

05.12.2020