184 похожих чатов

А по поводу FINAL'а. Я провел тесты на своих данных

(600 миллионов строк) и пришел к выводу что ни FINAL ни argMax ни другие варианты не дают адекватную скорость, ожидание по 4-8 секунды каждого запроса. На меньших объемах (<1кк строк) FINAL реально летает, а вот ближе к полу миллиарду все становится грустно.

Правильно ли я понимаю что это нормально, что с 600кк строк ни длинна order by ни настройки кх не помогут и надо менять бизнес логику?

10 ответов

7 просмотров

Почему у вас запросы с final работают против 600млн? Так и задумано?

Stranger- Автор вопроса
Denny [Altinity]
Почему у вас запросы с final работают против 600мл...

На 1кк строках FINAL практически не влияет на скорость. На 600кк строках - очень влияет

Stranger
На 1кк строках FINAL практически не влияет на скор...

Прям вот же: https://clickhouse.com/docs/ru/sql-reference/statements/select/from#select-from-final

Обычно делают более интеллектуальное что-нибудь. Типа дневные партии. По ночам принудительно финализируют optimize. Запросы против старых данных гоняются без final. Против свежих сегодняшних с final. Но серьезные приложения типа метрики конечно не используют final для таблиц с ивентами. Все подобное делается в etl.

Stranger- Автор вопроса

Благодарю 🙏

Stranger
Благодарю 🙏

Где то был доклад как в метрики делали дедубликацию на YDB :)

Stranger- Автор вопроса
Denny [Altinity]
Обычно делают более интеллектуальное что-нибудь. Т...

а с обновлением данных? Похоже что ждать асинхронные мутации это лучшее решение на текущий момент, если FINAL отметаем, и argMax и тому подобные тоже

Нельзя делать UPDATE для одной строки

Stranger- Автор вопроса
Константин
Нельзя делать UPDATE для одной строки

А ведь для N строк UPDATE нельзя сделать? Допустим мне надо поменять значения колонок в 10-20 колонках за раз... попробую посмотреть в сторону CollapsingMT, если не поможет похоже надо будет смотреть в сторону DELETE+INSERT

Stranger
А ведь для N строк UPDATE нельзя сделать? Допустим...

Можно, если предварительно запихнуть данные в словарь в памяти. Однако в ETL не нужно делать никаких мутаций. Только руками. Смотрите в сторону CollapsingMT и разных интересных схем сортировки и партиционирования таблицы, вместе с преобразованиями из одной таблицы в другую. Правильный путь где-то там. Но точно не в мутациях.

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
А что ты вообще делаешь ?
Yesgoter
13
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
18
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
Подскажите, почему в правом коде с1 дополняется до 8байт, а не до 4?
Sergey
9
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Карта сайта