100млрд строк. Столкнулся с такой проблемой: при инсертах (1-10млн) ловлю ошибку too many parts. Количество партов в состоянии покоя(не инсертим) 90-100. Ошибка прилетает при 300.
Вопрос: если я разобью таблицу на 20 партиций к примеру, правильно ли я понимаю, что ограничение на количестов партов будет к каждой партиции а не к таблице в целом?
да 300 будет на каждую партицию. Вам надо посмотреть размеры партов, по умолчанию макс. размер 200ГБ, т.е. если будет 300 партов по 200ГБ, мержить будет уже нечего/некуда. 300 это значение по умолчанию, его можно изменить, если у вас флоу например много льем полчаса, потом только читаем 23,5 часа. И партиции довольно мощный инструмент, позволяют выполнять запрос только к куску данных (к избранным партициям).
Обсуждают сегодня