Прошу прощения за отсутствие reprex'а. У меня возникло серьезное бутылочное

Question

Прошу прощения за отсутствие reprex'а. У меня возникло серьезное бутылочное

горлышко в симуляции (нужно случайно отобрать по Pat_ID, а потом случайно отобрать внутри групп по Pat_ID одну строку). Никто не знает как сделать эффективно? Исходно в наборе данных несколько сотен тысяч строк. Cейчас 7 потоков, дальше с датасетами производятся достаточно дешевые вычисления. Возможно, я ошибся в синтаксисе data.table, очень редко его использую.

#programming #r #russian

0

01.04.2022

6 ответов

18 просмотров

Maksim Kuznetsov Автор вопроса

Ilya Shutov
конечно знаем. писал про похожую задачу тут: https...

Спасибо большое

0

01.04.2022

Ilya Shutov

Maksim Kuznetsov
Спасибо большое

и еще сюда: https://habr.com/ru/post/461463/

0

01.04.2022

Ilya Shutov

без репрекса писать не хочется код. но правильная идея примерно такая: 1. создаем числовой псевдоидентификатор вида 'id_группы.id_записи' 2. Для каждой группы считаем длину и генерим для случайный набор N номеров записей. 3. по ссылке создаем новую колонку-флаг, которая отвечает за тип записи (группа А/Б). и по номерам из п.2 вгоняем значение флага. Все, у нас размеченный исходный массив из которого мы можем потом вытащить то, что нам надо... минимум операций с памятью, минимум копирований

0

01.04.2022

Ilya Shutov

сотня тысяч строк — вообще ни о чем. Тем не менее, вот небольшая демонстрация подхода, описанного выше. library(tidyverse) library(data.table) # Полагаем, что пациентов не более 10000 log(10^4) / log(2) # 14 бит # А на каждого пациента не более 1000 записей log(10^3) / log(2) # 10 бит binaryLogic::as.binary(2^10) # строим идентификатор на базе Int 32: пациент 31-11 биты, запись 10-1 биты # готовим пример данных df <- 1:10^4 %>% tibble(pat_id = ., len = runif(length(.), 600, 900)) %>% rowwise() %>% mutate(val = list(sample.int(len, replace = FALSE))) %>% ungroup() %>% select(-len) %>% unnest(val) # решаем задачу base_dt <- as.data.table(df) %>% # строим хэш-идентификатор .[, uid := .GRP * as.integer(2^10) + seq_len(.N), by = pat_id] # полное перемешивание bench::mark( base_dt[, shuff_uid := base::sample(uid, replace = FALSE)], base_dt[, shuff_uid := dqrng::dqsample(uid, replace = FALSE)] ) # сделаем выборку случайных N идентификаторов из каждой группы # полное перемешивание dt <- data.table(shuff_uid = dqrng::dqsample(base_dt$uid, replace = FALSE)) %>% # расщепляем обратно на пациента и группу .[, `:=`(pat_id = shuff_uid %/% 2^10)] %>% # оставим по 5 случайно перемешанных записей .[, head(.SD, 5), by = pat_id] %>% # вливаем обратно данные по пациентам .[, pat_id := NULL] %>% merge(base_dt, all.x = TRUE, by.x = "shuff_uid", by.y = "uid") skimr::skim(dt)

0

02.04.2022

Maksim Kuznetsov Автор вопроса

Ilya Shutov
сотня тысяч строк — вообще ни о чем. Тем не менее,...

Спасибо большое

0

02.04.2022

Ilya Shutov · Accepted Answer

Ilya Shutov

конечно знаем. писал про похожую задачу тут: https://habr.com/ru/post/578570/

0

01.04.2022

169 похожих чатов

Прошу прощения за отсутствие reprex'а. У меня возникло серьезное бутылочное

6 ответов

Похожие вопросы