184 похожих чатов

13 ответов

16 просмотров

в replacingMT есть 3 типа колонок: 1. те, что в ORDER BY — ключи дедупликации 2. опциональный version (не мб в ORDER BY) — отвечает за выбор строки (если нет, то остается последняя по вставке строка) 3. остальные — значения дедуплицируются что вы хотите получить?

Kuzma-Leshakov Автор вопроса
Tagir Gumerov
в replacingMT есть 3 типа колонок: 1. те, что в O...

Дедупликацию дубликатов по всем колонкам таблицы (п1)

Kuzma Leshakov
Дедупликацию дубликатов по всем колонкам таблицы (...

можно последним значением в ORDER BY добавить cityHash(*);

Kuzma Leshakov
Дедупликацию дубликатов по всем колонкам таблицы (...

простой ответ: запихивайте все столбцы в order by чуть более правильный ответ: не надо запихивать все столбцы в order by кейс заключается в том, что вы пишете полные дубликаты и хотите от них избавляться?

Kuzma-Leshakov Автор вопроса
Tagir Gumerov
простой ответ: запихивайте все столбцы в order by ...

"чуть более правильный ответ" критикуешь - предлагай)

Kuzma Leshakov
"чуть более правильный ответ" критикуешь - предлаг...

так я написал про 2 ответа и уточнил у вас кэйс вы ответили, но рядом Дмитрий Титов предложил отличный вариант с cityHash

Kuzma-Leshakov Автор вопроса
Tagir Gumerov
так я написал про 2 ответа и уточнил у вас кэйс вы...

Я подумал, что у вас был свой вариант, но вы его не написали 🙌

Kuzma Leshakov
Я подумал, что у вас был свой вариант, но вы его н...

на самом деле не было кроме вариантов использовать optimize table ... deduplicate (тоже не ахти вариант) или выяснения подмножества столбцов, которых было бы достаточно для дудупликации но есть привычка уточнять кэйс перед тем, как советовать что-то специфичное

Kuzma-Leshakov Автор вопроса
Kuzma Leshakov
чем плохо перечисление всех колонок?

В первом приближении потому что дедубликация идёт по ключу сортировки, и если явно не указать разные ключ сортировки и pk, то все столбцы полетят в оперативку (немного натянуто). Во втором приближении даже в фоне дорого сравнивать полные строки, сколько у вас столбцов? 5, 10, 100500? А решение с cityHash аккуратно закрывает обе проблемы

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта