184 похожих чатов

Всем привет есть таблички размерами 56 ГБ и 16 ГБ, мне

надо сделать по ним джоин, но у меня ошибка по нехватке памяти
делаю джоин втупую на все таблицы, тк условий нет

подскажите, пожалуйста, может ли мне помочь идея сделать на одну (мб 2) таблицы фильтр типа sipHash64() % 2 = 0 и джоинить уже подзапрос?

или лучше попробовать какие-нибудь другие более эффективные лайфхаки для джоина больших таблиц?

(знаю, что кх не любит джоины, что это не очень хорошее архитектурное решение, но хотим сначала на уровне запроса выкрутиться)

9 ответов

8 просмотров

>тк условий нет чта? в каком смылсе нет? типа надо перемножить все строки на все? вы в курсе что джойн можно переделать в union all + group by ?

Кирилл-Маньков Автор вопроса
Denny [Altinity]
>тк условий нет чта? в каком смылсе нет? типа надо...

а как union all + group by сделать, я что-то не догоняю можешь пояснить, пожалуйста?

Я джойнил по хэш. ( У меня уникальный ключ - 3 поля был). Но это не в прод. Так... Как проба пера

Кирилл-Маньков Автор вопроса
Владислав Lazycat
Я джойнил по хэш. ( У меня уникальный ключ - 3 пол...

да у меня тоже что-то типа личной задачи, без прода

Кирилл Маньков
а как union all + group by сделать, я что-то не до...

на вопросы ответить слабо? в упрощенном варианте так таблица 1 p | s ----- 1 | xxx таблица 2 p | w ----- 1 | ууу select p, max(s) s, max(w) w from ( select p, s, null as w union all select p, null as s, w ) group by p

Кирилл-Маньков Автор вопроса
Кирилл Маньков
301 293 922

эм, вы понимаете сколько строк в результате? даже если в большой таблице 301 293 922, то в результате будет 301 293 922 * 301 293 922 = 90 778 027 434 142 084 строк. вы точно этого хотите?

Похожие вопросы

Обсуждают сегодня

а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Добрый день. Хочу сделать отрисовку по команде на панели. Почему-то рисуется только при втором вызове. С чем может быть связано, не подскажете? procedure TForm1.FormDblClick(...
Kirill Filippenok
20
Всем доброго дня! Подскажите может кто использовал связку Pagebuilder + Clientsetting. Сами параметры с типом pagebuilder в модуле Clientsetting работают нормально, можно такж...
Александр Добриков
12
А почему в си некоторые вещи работают с двойными кавычками некоторые с одинарными? Нельзя было все сделать с одними или чтоб работало с разными? например чтоб выводить строки ...
.
15
Всем привет! Нужен совет от опытных. Переношу свой проект с Делфи 10.2 Токио на Лазарус 3.2 установленный через инсталлятор fpcupdeluxe-x86_64-win64. При импортировании проект...
Дмитрий Завгородний
7
Эх кто-то пришел и весь праздник испортил :( You need complex FBX scene importing setup to change things on import? good luck with that. You need navigation and pathfinding? g...
Serg Gini
5
Всем привет! Подскажите. Я написал приложение на Delphi 10.2 Tokyo под Windows 10. И передо мной стал вопрос о том чтобы сделать это приложение кроссплатформенным (под Linux и...
Дмитрий Завгородний
24
Всем привет! procedure TForm1.FormCreate(Sender: TObject); type TStartEnd = record S: Byte; E: Byte; end; var a, b: TStartEnd; begin {1} a.S := 1; {2} a.E := 2; ...
Руслан Михайлович
10
Всем привет!) я тут новенький и пытаюсь освоить evolution методом тыка. У меня при переходе между папками файлов выскакивают вот такие уведомления Можете подсказать как их от...
Диман Samoed
10
Какого хера? /Sources/App/Modules/User/Models/UserLinkApple.swift:21:20: warning: stored property '_id' of 'Sendable'-conforming class 'UserLinkApple' is mutable @ID(...
Alexander Sherbakov
14
Карта сайта