215 похожих чатов

Всем привет. Что делать если данных сильно много (приходится читать

батчами), а посчитать коэффициент корреляции между столбцами хочется? Посчитать по батчам и усреднить?

8 ответов

20 просмотров
Денис-Лазаренко Автор вопроса

Можете пожалуйста кто подсказать ответ на этот вопрос?

может читать данные по стобцам. считываешь один, потом для него считаешь корреляцию с каждым из оставшихся по очереди. все коэффициенты пишешь в словарь или тип того

Денис-Лазаренко Автор вопроса
РомаК
может читать данные по стобцам. считываешь один, п...

ну тогда все равно придется хранить столбцы, нет?

Денис Лазаренко
ну тогда все равно придется хранить столбцы, нет?

вычислил корреляцию и удалил ненужный столбец из памяти

Денис-Лазаренко Автор вопроса
РомаК
вычислил корреляцию и удалил ненужный столбец из п...

ну они ж попарно вычисляются со всеми остальными, т.е. первый столбец со вторым, первый с третьим, и так далее

Денис Лазаренко
ну они ж попарно вычисляются со всеми остальными, ...

считал первый, считал второй, вычислил корреляцию между ними, сохранил значение, удалил второй, считал третий, вычислил корреляцию между первым и третьим и тд

Денис Лазаренко
ну они ж попарно вычисляются со всеми остальными, ...

советчик выше имеет ввиду - сравнили x_1 с x_2, записали резалты, очистили память. Дальше x_1, x_3 и тд

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта