169 похожих чатов

Привет коллеги! Подскажите пожалуйста, как корректно оценить средний вес столбцов

в таблице?
Есть задача, сократить объем инсерта. Сокращать планирую построением топа самых жирных вставляемых полей(с дальнейшим анализом нужности). Размер изначально пустой таблицы после инсерта составляет 45гб. В таблице 600 полей. Я посчитал средний вес каждого поля функцией avg(datalehgth(colName)). Однако после сложения всех средних значений веса столбцов и умножении на кол-во строк, я получаю 7.5гб а не 45. То есть что-то я явно делаю не так. Подскажите пожалуйста, как можно корректно построить топ самых тяжёлых столбцов в табле? (Также в табле большая часть нулевых столбцов без значений, но они как я понимаю не должны иметь существенного веса)

11 ответов

20 просмотров

600 полей в таблице?

а каким образом ты будешь сокращать? ну допустим ты узнал что 10, 100 и 555 поля больше всех

Zakhary- Автор вопроса
Gopneg
а каким образом ты будешь сокращать? ну допустим т...

Эти поля передам в продуктовую команду для анализа необходимости их хранения для дальнейшего расчета

Zakhary
Эти поля передам в продуктовую команду для анализа...

из-за каких-то 45гб будешь людей напрягать? причем даже не 45, а скажем гб 10 тебе скинут

Zakhary- Автор вопроса

Вам надо просто посчитать sum(datalength) для каждой колонки Дальше оно с точностью до фактического fillfactor и нюансов типа одного бита на null даст нужное Вероятно, вам стоит почитать про секционирование и columnstore

Zakhary- Автор вопроса

План запроса и понимание всего процесса есть? Вдруг у тебя там селект тупит который используется для вставки

Zakhary- Автор вопроса
Yuriy T
План запроса и понимание всего процесса есть? Вдру...

Селект Каунт по условию работает секунд 15. Топ 100 с сортировкой по условию в пределах минуты. Как я вижу с логикой селекта проблемы маловероятны.

Потому что пустое поле не означает что под него не выделено место. Скопируй интересующую колонку (одну) во временный объект с той же метадатой и замерь его размер

Zakhary- Автор вопроса
Sergey Gladkikh
Потому что пустое поле не означает что под него не...

Спасибо попробую. Правда пока не представляю как это сделать для 600 столбцов

Похожие вопросы

Обсуждают сегодня

а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Добрый день. Хочу сделать отрисовку по команде на панели. Почему-то рисуется только при втором вызове. С чем может быть связано, не подскажете? procedure TForm1.FormDblClick(...
Kirill Filippenok
20
Всем доброго дня! Подскажите может кто использовал связку Pagebuilder + Clientsetting. Сами параметры с типом pagebuilder в модуле Clientsetting работают нормально, можно такж...
Александр Добриков
12
А почему в си некоторые вещи работают с двойными кавычками некоторые с одинарными? Нельзя было все сделать с одними или чтоб работало с разными? например чтоб выводить строки ...
.
15
Всем привет! Нужен совет от опытных. Переношу свой проект с Делфи 10.2 Токио на Лазарус 3.2 установленный через инсталлятор fpcupdeluxe-x86_64-win64. При импортировании проект...
Дмитрий Завгородний
7
Эх кто-то пришел и весь праздник испортил :( You need complex FBX scene importing setup to change things on import? good luck with that. You need navigation and pathfinding? g...
Serg Gini
5
Всем привет! procedure TForm1.FormCreate(Sender: TObject); type TStartEnd = record S: Byte; E: Byte; end; var a, b: TStartEnd; begin {1} a.S := 1; {2} a.E := 2; ...
Руслан Михайлович
10
Всем привет!) я тут новенький и пытаюсь освоить evolution методом тыка. У меня при переходе между папками файлов выскакивают вот такие уведомления Можете подсказать как их от...
Диман Samoed
10
Всем привет! Подскажите. Я написал приложение на Delphi 10.2 Tokyo под Windows 10. И передо мной стал вопрос о том чтобы сделать это приложение кроссплатформенным (под Linux и...
Дмитрий Завгородний
24
Какого хера? /Sources/App/Modules/User/Models/UserLinkApple.swift:21:20: warning: stored property '_id' of 'Sendable'-conforming class 'UserLinkApple' is mutable @ID(...
Alexander Sherbakov
14
Карта сайта