184 похожих чатов

Кто-Нибудь делал поиск дубликатов по всем колонкам эффективно по памяти?

(не GROUP BY */HAVING COUNT(*) > 1) Выглядит как анти задача для колоночных БД

4 ответов

10 просмотров

не совсем понятно что нужно. но может вы в поиске OPTIMIZE TABLE name DEDUPLICATE ?

Kuzma-Leshakov Автор вопроса
Anton Mikhalev
не совсем понятно что нужно. но может вы в поиске ...

это удалит дубликаты, да, спасибо, интересный метод. Но я бы хотел найти дубликаты, а не удалить

в общем случае эффективно по памяти это не будет нигде, к колоночным Субд не имеет отношения

Kuzma Leshakov
это удалит дубликаты, да, спасибо, интересный мето...

а какие объёмы? мб попробовать что-то такое SELECT * FROM table WHERE xxHash64(*) IN (SELECT xxHash64(*) as hash FROM table GROUP BY hash HAVING COUNT() > 1) можно попробовать урезать по каким-то дименшенам (с небольшой вариативностью) и искать дубликаты пачками

Похожие вопросы

Обсуждают сегодня

Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Hi guys, I'm looking for a good LLM course. Is there any course to learn LLMs in advanced? I'm aiming to use them in my apps, so a perfect course in my openion, is not only a ...
Taha
14
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
Всем привет. Подскажите, пожалуйста, как вы реализовываете следующий функционал. Допустим есть форма, в которой имеется выпадающий список со значениями. Значения хранятся в БД...
Евгений
7
Хех, данные на форме всегда будут "из прошлого", т.к. перезаполнять поля формы в процессе редактирования пользователем - так себе идея. Пользователь может открыть форму редакт...
Alexander Somov
7
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
31
Карта сайта