запихиваю в Клик 60млрд. строк, все работает замечательно. Но вот какое наблюдение. После такой вставки остается совсем мало места на диске. Если клик не трогать, то по тихоньку место высвобождается. В логах вижу постоянное Found ХХ old parts to remove. Что именно клик делает? Мерджит парты? Ок, замечательно, общее количество даты ведь не уменьшается, за счет чего тогда растет свободное пространство? Более удачное сжатие данных за счет более жирных колонок в каждом патре?
смотри после вставки данных у тебя было 1000 изначальных файликов X они смержелись в 100 файликов Y но ведь файлики X еще хранятся на диске, и удалятся только после 8 минут после мержа. те у тебя щас данные дублируются. (X + Y)
Обсуждают сегодня