Хм, забавная задачка. Как таблице сделать anti-cluster? В смысле, заполнил

Question

Хм, забавная задачка. Как таблице сделать anti-cluster? В смысле, заполнил

таблицу тестовыми данными, но генерилка такая, что данные получились несколько неправдоподобно упорядоченными. Хочется как-то переупорядочить строки плюс-минус рандомно (чтобы correlation правдоподобный получился).

#backend #devops #pgsql #programming #russian

0

14.09.2023

13 ответов

22 просмотра

Ilya Portnov Автор вопроса

Ilya Anfimov
create index on <table> (md5(id::text)) ?

и потом по нему сделать cluster? Хм, вариант, спасибо.

0

14.09.2023

Ilya Anfimov

Ilya Portnov
и потом по нему сделать cluster? Хм, вариант, спас...

Да.

0

14.09.2023

Petr

Если место позволяет, сделайте на её основе ещё одну таблицу, используя TABLESAMPLE, сортировку по random() или по случайным ctid's (чуть сложнее но тоже возможно).

0

14.09.2023

Sergey Gr

Ilya Anfimov
create index on <table> (md5(id::text)) ?

А в postgres есть плохие случаи для MD5?

0

14.09.2023

Ilya Anfimov

Sergey Gr
А в postgres есть плохие случаи для MD5?

Не понял вопроса.

0

14.09.2023

Konstantin Zaitsev

Sergey Gr
А в postgres есть плохие случаи для MD5?

Ну добавьте соль

0

14.09.2023

Sergey Gr

Ilya Anfimov
Не понял вопроса.

Мы используем md5-хэш от каких-то данных о клиенте. После залива данных в Постгрес и их маскировки этот запрос бежит уже вторую неделю супротив какого-то разумного времени в Oracle. Могла резко повысившаяся энтропия данных сыграть против?

0

14.09.2023

Konstantin Zaitsev

Sergey Gr
Мы используем md5-хэш от каких-то данных о клиенте...

Реально это ваш код

0

14.09.2023

Ilya Anfimov

Sergey Gr
Мы используем md5-хэш от каких-то данных о клиенте...

Не надо гадать. Показывайте закреп https://t.me/pgsql/303899 (Можно вот этим скриптом https://t.me/pgsql/476688 , но analyze у вас вряд ли получится, так что пока можно без него).

0

14.09.2023

Konstantin Zaitsev

Ilya Anfimov
Не надо гадать. Показывайте закреп https://t.me/p...

Да я сам первый раз две недели вижу 🤦‍♀️

0

14.09.2023

Sergey Gr

Konstantin Zaitsev
Реально это ваш код

Да действительно ошиблись в условиях left outer join - получили NestedLoop 5000000 на 10000000 по условию через этот самый md5

0

14.09.2023