Друзья, а как вы делаете select к большим таблицам с

а вот смотрите ситуация: в таблицу залетает строка с price = 10 14.05, например, потом 17.05 прилетают эти же данные, но с price = 20, потом я делаю селект за 14.05, мне клик вернет запись с price = 10 или 20, если они не схлопнулись?

0

16.08.2021

Yuran

Если без group by, то обе, а если с, то зависит от того, как Вы запрос написали

0

16.08.2021

Aleksandr Yasakov Автор вопроса

если я использую final

0

16.08.2021

Yuran

С final будет также, как Вы указали в настройках ReplacingMergeTree

0

16.08.2021

Konstantin Ilchenko

Если даты нет в ключе партицирования, то должно быть 20

0

16.08.2021

Boris

вместо final можно использовать limit 1 by, иногда он показывает лучшие результаты. недавно пришлось помогать людям с запуском на слабой виртуалке, так там final вылетал по ООМ, а limit 1 by справлялся. а вобще любая оптимизация сводится к тому чтобы меньше читать ненужного. Меньше строк, меньше столбцов. Если вам нужна аггрегация миллиарда строк по всем 100 столбцам, то вариантов нет - на лету будет медленно, используйте MV для предгагрегации. Когда есть возможность прочитать не все, то этим нужно пользоваться: - иногда помогает prewhere (выбор только нужных строк по ограниченному числу столбцов) - бывает что оптимизатор запросов не справляется и prewhere не помогает. Тогда делаем тоже самое самостоятельно - подзапрос, который опираясь на малое количество столбцов, вычисляет ключи из order by таблицы, по которым внешним запросом читаем уже не миллиард строк, а существенно меньше.

0

16.08.2021

Yuran · Accepted Answer

Yuran

Вы имеете в виду чтобы всю таблицу выбрать? Тогда я бы делал optimize final перед выборкой и выбирал потом таблицу с фильтром по времени (чтобы только уже точно схлопнутые партиции выбрать).

0

16.08.2021

184 похожих чатов

Друзья, а как вы делаете select к большим таблицам с

9 ответов

Похожие вопросы